函数coalesce笔记hive
菜鸟的Python学习笔记_源码阅读1_records(part1)
records 使用原生sql,可以操作大多数的关系型数据库 PART_1 - records引入的包(部分) 1. from sys import stdout 说明：标准输出流 具体请参考：(https://pythonjishu.com/python-sys-stdout/)[https:// ......
每日学习之hive
Hive利用HDFS存储数据，利用MapReduce查询数据 Hive能将数据文件映射成为一张表，在hive中能够写sql处理的前提是针对表，而不是针对文件，因此需要将文件和表之间的对应关系描述记录清楚。映射信息专业的叫法称为元数据信息（元数据是指用来描述数据的数据）。元数据存储在关系型数据库中 H ......
cmake之解析宏或者函数参数
本文将介绍cmake如何解析函数或者宏对应的参数列表 语法查询 打开cmake手册，查询cmake_parse_arguments关键字即可， 如下图 语法 cmake_parse_arguments(<prefix> <options> <one_value_keywords> <multi_va ......
标记永久化学习笔记
标记永久化是线段树的另一种写法，顾名思义，就是让懒标记永久作用于结点上不下传。 回顾一下下传标记的写法。对于一个结点，懒标记作用于其管辖的范围。换句话说，其所有子孙结点都会被懒标记作用恰好一次。在进入下一层时，我们先将懒标记作用于其儿子，然后再将懒标记和其儿子的懒标记合并。所以普通线段树需要满足结合 ......
[算法学习笔记] 浅谈二路归并&双指针&归并排序
二路归并 · 双指针 是一种优化思想。它可以在 \(O(n)\) 的复杂度下把两个长度为 \(n\) 的有序数组合并为一个有序数组。 它的具体处理方法如下： 定义两个长度为 \(n\) 的升序数组 \(a,b\)。，合并完后长度为 \(2n\) 的数组 \(c\)，初始化两个指针 \(x=y=1\) ......
ElPlus - color-picker 暴露的 show 函数调用时面板开启又关闭问题
问题描述 ElPlus 2.3.3 版本之后给我们提供了两个 expose 函数，show 和 hide，到目前版本 2.3.14 为止在调用 show 函数时会遇到一个问题：调用之后 color-picker 组件显示了但是很快又会被关闭掉。 cover:(https://element-plus ......
VAE 学习笔记
VAE 是 AE的变体。主要目的是让模型学习数据的分布，最后让解码器(decoder)部分具有生成样本的能力。 VAE可看做高斯混合模型(GMM)的扩展。 GMM中，数据由多个高斯分布来描述: \[p(x) = \sum_{k=1}^{K}P(z_{k})P(x|z_{k}) \]其中 $z \si ......
刷题笔记（2023.9.21）
求和 由题意很容易得 \(x\) , \(z\) 的奇偶性是相同的，但是由于 \(n\) 的范围是 \(\le 100000\) 的，所以直接枚举 \(x\) ，\(z\) 的时间复杂度是 \(O(n^2)\) ,显然会 \(TLE\) 。 所以可以先对输入的颜色进行分组，然后再在每一种颜色中按奇偶 ......
软考笔记
1.计组与体系结构 1.数据的表示 1.1进制转换 按权展开求和 n进制 -> 十进制 每一位八进制数与三位二进制数对应 除n取余法 十进制 -> n进制 每一位十六进制数与四位二进制数对应 计算机的基本单位 位（比特）bit b 字节byte B 千字节 KB 兆字节 MB 吉字节 GB 太字节 ......
「学习笔记」树链剖分
树链剖分用于将树分割成若干条链的形式，以维护树上路径的信息。 具体来说，将整棵树剖分为若干条链，使它组合成线性结构，然后用其他的数据结构维护信息。 树链剖分有很多种形式，本文要讲的是其中的轻重链剖分。 树链剖分本质上就是把链从树上砍下来，然后放到树状数组或线段树上来维护。 轻重链剖分 我们给出一些定 ......
Qt开发学习笔记
很久以前写的笔记，综合了很多内容，主要是来源于传智教育的Qt教学视频。时间久远，排版可能有点问题。 Qt相关内容解释 .pro文件解释 QT += core gui #Qt包含的模块 greaterThan(QT_MAJOR_VERSION, 4): QT += widgets #大于4版本以上 包 ......
学习笔记418—删掉对称矩阵中的NaN，对角线为1【已解决！】
问题：删掉对称矩阵中的NaN，对角线为1 如下图 矩阵A 所示： 解决办法： B = A + diag(NaN + zeros(1,length(A))); %将对角线改为 NaNB(all(isnan(B),2),:) = []; %删除所有行为NaNB(:,all(isnan(B),1)) = ......
【学习笔记】(28) 基环树
首先，严格地讲，基环树不是树，它是一张有 \(n\) 个节点、\(n\) 条边的图。 介绍 无向图上的基环树 有向图上的基环树 内向树 出度为 1 外向树 入度为 1 流程 找到唯一的环； 对环之外的部分按照若干棵树处理； 考虑与环一起计算。 找环 从任意一点开始搜索； 每次拓展到的点涂为灰色，回溯 ......
Linux文件管理笔记
一、文件目录和路径在Linux系统中，文件和目录被组织成一个树状的结构，称为文件目录结构。根目录是整个文件目录结构的最顶层，表示为“/”。所有其他目录和文件都是从根目录开始的。文件路径是指从根目录到目标目录或文件的路径。路径可以是绝对路径或相对路径。- 绝对路径：从根目录开始的完整路径，例如“/ho ......
关于hive中的com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V报错
com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V这个报错是因为Hive 3.1.3 guava 19.jar 和hadoop3.2.4 不兼容导致 解决方法—— 之后h ......
每日总结(hdfs文件导入到hive表)
1 CREATE TABLE employees ( 2 id INT, 3 name STRING, 4 age INT, 5 salary FLOAT 6 ) 7 ROW FORMAT DELIMITED 8 FIELDS TERMINATED BY ',' 9 STORED AS TEXTFI ......
汇编语言学习笔记
汇编语言 主要知识点来自《汇编语言》速成指南(全程敲代码)，配套材料： 王爽老师的《汇编语言》 使用DOSbox模拟运行8086CPU汇编语言 如有错误，欢迎指正！ 1. 入门 简单引入关于8086CPU的知识。 CPU内部主要由运算器、控制器、寄存器三大部分组成[1]。 运算器: 负责算术运算（+ ......
Linux学习笔记与个人理解（第一章初识Linux)
1. 云计算的简介 1.1 云计算的定义 云计算是一种基于互联网的计算模式，通过网络提供可按需访问的共享计算资源和服务，包括计算能力、存储空间和应用程序等。 1.2 云计算的特点 弹性伸缩：根据需求动态调整计算资源的规模，实现快速扩展或缩减。 资源共享：多个用户共享云计算平台上的资源，提高资源利用率 ......
使用 Databend 加速 Hive 查询
作者：尚卓燃（PsiACE） 澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committer https://github.com/PsiACE 随着架构的不断迭代和更新，大数据系统的查询目标也从大吞吐量查询逐步转移转向快速的交互式 ......
sift特征提取--笔记
1）采用高斯差分金字塔，来近似高斯拉普拉斯算子，是为了在平滑滤波后依然保持尺度不变性，即在不同尺度下的特征不变。 2）采用不同的尺度下的高斯差分图像，是为了在不同尺度下，比较图像之间的特征点。如果一张图像比另一张放大了或缩小了，那么可以比较它们的不同尺度下的特征点。 3）特征点的要素：极值点；其它手 ......
将从hive传到mysql数据库的数据使用Echarts进行可视化
1、使用JDBC连接数据库 //DBUtil.java package org.example; import java.sql.*; public class DBUtils { public static String db_url="jdbc:mysql://node1:3306/transp ......
每日总结|9.21-Hive搭建及报错解决方案
搭建 安装hive 把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面 tar -zxvf /opt/software/apache ......
VideoChat笔记
https://arxiv.org/pdf/2305.06355.pdf 一个理解视频的大语言模型, 跟视频里面内容可以随便问模型. 还是老方法直接第三章走起. 3. VideoChat: 直接看图: VideoChat分2个部分, 一个是VideoChat-Text 一个是VideoChatEmb ......
工作流程优化 - 总结笔记
一、一个忙碌的上午（现实中的工作流问题） 小张已经忙了一个早上了，她觉得自己还是很有条理的，这种有条理的忙碌感让他觉得内心充实。她会把每件工作按照紧急程序进行一个大致的排序，一件件处理，但是判断依据呢？只是自己的一个感觉而已。（问题：没有对瓶颈环节设计紧急的分流方案） 老王的工作已经接近尾声了，却故 ......
shell函数
shell函数 shell中允许将一组命令集合或语句形成一段可用代码，这些代码块称为shell函数。给这段代码起个名字称为函数名，后续可以直接调用该段代码的功能。 1.函数的定义 函数名() { 函数体（一堆命令的集合，来实现某个功能） } function 函数名() { 函数体（一堆命令的集合， ......
浏览器使用笔记
[批量多开谷歌浏览器Google Chrome并相互独立 - 知乎](https://zhuanlan.zhihu.com/p/608745273) [chrome最简单的多开方法_多用户打开chrome_欲饮琵琶码上催的博客-CSDN博客](https://blog.csdn.net/qq_350 ......
groupby函数作用
在pandas中，groupby函数用于对DataFrame对象进行分组操作。它将数据按照指定的列或多个列进行分组，并返回一个GroupBy对象，可以对分组后的数据进行聚合、转换和筛选等操作。 groupby函数的常见用法如下： DataFrame.groupby(by=None, axis=0, ......
打工笔记--------------------------SugarColumn特性
IsIdentity 是否创建自增标识 IsPrimaryKey 是否创建主键标识 ColumnName 创建数据库字段的名称（默认取实体类属性名称） ColumnDataType 创建数据库字段的类型 IsIgnore ORM不处理该列 IsOnlyIgnoreInsert 插入操作时不处理该列 ......
将txt、csv等类型文件导入到hive数据库中
1、将.txt文件（以sample.csv文件为例）放到data文件夹下面 建议直接用上传进行文件的上传（命令的话，我还没搞清楚）； 2、进入到hive数据库中，根据txt文件信息创建表 create table test1 (day_id varchar(30),sale_nbr varchar( ......
今日学习笔记2023年9月20日
1 # 我的第一条代码 2 print('hello world') # 这是一条注释 3 print('这是我的第一条编程命令') 4 name = 'egon' # 定义变量 5 print(name) # 引用变量 6 age = 18 7 print(age) 8 9 x = 10 10 y ......