函数coalesce笔记hive

hive string, map, struct类型的建表和导入数据语句

本文转载于 https://blog.51cto.com/u_14405/6419362,https://blog.csdn.net/tototuzuoquan/article/details/115493697 和 https://blog.csdn.net/weixin_43597208/art ......
语句 类型 数据 string struct

信2105-3孟德昊阅读笔记规划

这学期建民老师要求了我们每人进行不少于三本书的阅读,并给了我们很多的可读书籍的选择。我打算选择《软件需求》《软件需求模式》《敏捷软件需求》三本书来进行阅读,并作出相应的读书笔记,在读完之后进行认真的读书讨论,真正做到完全理解书中的内容,不是为了读书而读书,而是为了自己而读书。 下面我计划每天花两个小 ......
笔记 2105

动态规划——区间DP 学习笔记

动态规划——区间DP 学习笔记 不含四边形不等式优化。 定义 线性动态规划的局限性在于,它只能顺推或倒退,而不能有子区间依赖的问题。 区间动态规划是线性动态规划的扩展,它将问题划分为若干个子区间,并通过定义状态和状态转移方程来求解每个子区间的最优解,最终得到整个区间的最优解。 区间动态规划常用于解决 ......
区间 笔记 动态

《代码大全》阅读笔记01

这本书的第一个章节“欢迎进入软件构建的世界”欢迎来到软件构建的精彩旅程。在这一章中,我们将深入探讨软件构建的关键性作用。软件构建,它并不是需求分析人员、产品设计师、业务分析师、架构师、测试工程师或运维人员所从事的工作,而是具体程序员的领域。虽然上述职位在软件开发的整个生命周期中发挥着不可或缺的作用, ......
代码 笔记 大全

读书笔记——《软件需求》其一

《软件方法》是计算机科学领域的经典之作,由Edsger W. Dijkstra于1975年出版。这本书对软件工程和程序设计方面的思想和方法进行了深入的研究和探讨,对于软件开发人员来说具有重要的启发和指导意义。 在书中,Dijkstra强调了程序设计的正确性和可读性的重要性。他认为程序应该被认为是数学 ......
需求 笔记 软件

python的zip()和zip(*)函数

zip是打包为元组的列表; zip(*[xx])是把列表解压为两个元组,相当于zip的逆过程,可用于矩阵转置。 参考: https://blog.csdn.net/ezio23/article/details/81414092 ......
函数 zip python

tarjan学习笔记

tarjan学习笔记 0.前置知识 强连通图 在一个有向图中,若从任意一点可以到达其他所有点,则称之为强连通图 强连通分量(SCC) 一个图中的极大强连通性质子图(强连通图的强连通分量是它本身) \(\small {极大强连通子图指一个不能加入另外的点的强连通子图(一个强连通子图可能包含一个或多个小 ......
笔记 tarjan

《流畅的Python》 读书笔记230925

《流畅的Python》 读书笔记 写在最前面的话 缘由 关于Python的资料市面上非常多,好的其实并不太多。 个人认为,基础的,下面的都还算可以 B站小甲鱼 黑马的视频 刘江的博客 廖雪峰的Python课程 进阶的更少,《流畅的Python》应该算一个。 加上,自己也很久没有耐心的看完一本书了 鉴 ......
笔记 Python 230925

密码协议学习笔记(7):不经意传输

不经意传输: 不经意传输(Oblivious Transfer,OT)这个概念不太直观,实际上,该协议的描述是: 发送方Alice向接收方Bob发送了$n$条消息,$m_1,\cdots,m_n$, 接收方Bob从中选择一条或几条消息. 发送方无法控制接收方的选择,也无法得知接收方的选择,而接收方不 ......
密码 笔记

模式识别与机器学习——生成式分类器 课程笔记

有监督学习:从有标记的数据中学习推断函数 目标函数:\(Y=f(x)\)或\(P(Y|X)\) 注意:条件概率用小写p表示,先验概率用大写P表示。 贝叶斯判别原则 给定观测值X,判断其属于\(\omega 1\)类还是\(\omega 2\)类,最小化误差概率条件下,\(P(\omega1|X) > ......
机器 模式 课程 笔记

Rust函数与闭包

1. 常规函数 函数都拥有显示的类型签名,其本身也是一种类型。 1.1 函数类型 自由函数 // 自由函数 fn sum(a: i32, b: i32) -> i32 { a+b } fn main() { assert_eq!(3, sum(1, 2)) } 关联函数与方法 struct A(i3 ......
闭包 函数 Rust

《梦断代码》阅读笔记01

1、与其他的书籍很不同的一点是:这本书有第0章 而第0章有这么一句话,也是将我这两年来学习技术的心理状态给描绘了个大概: “hello world”程序一无所用,但足以蛊惑人心, 多少软件雄心勃勃,但最终未结善果。 不得不承认的一点是,我当初刚开始使用IDEA编程工具学习Java的时候,坚持学习下去 ......
代码 笔记

密码协议学习笔记(6):零知识证明

零知识证明 基本概念: (这部分书上讲的实在是太难懂了,因此博客内容参考了零知识证明Zero-Knowledge Proof介绍 - 知乎 (zhihu.com)) 想象这样的应用场景:甲指着报纸上一道超难的数独题,说:"我知道这道数独题的答案",并且需要向乙证明这一点.于是甲做了一堆上面写着数字1 ......
密码 笔记 知识

hive数据分析

HIVE数据分析实验报告 信2105-3 20213728杨申龙 数据导入 将csv文件导入到虚拟机的hive数据库中,并通过datagrip软件实现对数据库的可视化操作 数据清洗 在datagrip中进行如下操作,将数值清洗为真实日期 insert overwrite table test2 se ......
数据分析 数据 hive

GraphMAE阅读笔记

GraphMAE阅读 引言 在摘要里,本论文提出了自监督学习有着巨大的潜力 自监督学习又分为对比学习和生成学习 目前比较成功的是对比学习,因为在对比学习中,有高质量的数据增强以及可以通过额外的策略来稳定训练过程 而对于生成式的自监督学习,它们旨在重建数据本身的特征和信息,对图来说,图自动编码器(Gr ......
GraphMAE 笔记

hive

hive测试步骤 1.在hive中建表,一个表存放原始数据,一个表存放清洗后的数据 create table sales_initial ( day_id varchar(30), sale_nbr varchar(30), buy_nbr varchar(30), cnt varchar(30), ......
hive

《软件需求十步走》阅读笔记

软件需求是什么?是客户最基本的要求,是开发人员如何针对开发的基准,若软件开发没有了这一步,也就失去了此次开发的必要性,也就如同做了无用功。有需求的存在,对客户、开发团队双方来言是互利的存在,所以我们作为软件工程的学生,自当做好对需求的正确、准确分析。 软件需求是软件项目和产品开发的起点,更是用户和开 ......
需求 笔记 软件

函数重名和结构体出现两种定义

这个Bug是在查另一个Bug时发现的,源Bug暂且按下不表 先说一下大致的情况 struct zebra_client_arg zebra_client是进程中的一个全局变量,struct zebra_client_arg的定义如下: struct zebra_client_arg { int lc ......
函数 结构

mysql常用函数

1、AVG():返回平均值 2、COUNT():返回行数 3、FIRST():返回第一个记录的值 4、LAST():返回最后一个记录的值 5、MAX():返回最大值 6、MIN():返回最小值 7、SUM():返回总和 8、UCASE():将某个字段转换为大写 9、LCASE():将某个字段转换为小 ......
函数 常用 mysql

软件工程测试--hive数据分析,步骤

![](https://img2023.cnblogs.com/blog/2913863/202309/2913863-20230925134737420-1341675633.png) ![](https://img2023.cnblogs.com/blog/2913863/202309/2913... ......

hive测试

这次的hive测试的流程主要分为以下几个步骤 1、数据导入到hive数据库里 2、对数据清洗 3、数据分析处理 4、将处理后的数据导出到MySQL 5、 通过网页进行数据可视化 一.数据导入到hive数据库里 1)建立初始表 create table sales_sample_20214044 ( ......
hive

考试笔记

考试笔记 从暑假集训开始。质量不等。后面的笔记质量要高一些。 2023.08.22 T1 T2 一个很显然的思路是先预处理,把所有图形搜出来,并算出它们所占据的空间,然后对于每组询问做到 \(O(1)\) 查询(二维前缀和)。 难点就在于如何去重相同的图形。 T3 这么喜欢出矩阵乘法吗。 一眼 \( ......
笔记

机器学习笔记

机器学习笔记 mAP(mean Average Precision)在机器学习中的目标检测领域,是十分重要的衡量指标,用于衡量目标检测算法的性能。一般而言,全类平均正确率(mAP,又称全类平均精度)是将所有类别检测的平均正确率(AP)进行综合加权平均而得到的。 李课 理论部分 损失函数(Loss F ......
机器 笔记

雾里滑雪笔记(三)热力学第一定律

热一律及其衍生物 一、热力学第一定律的基本内容 热力学第一定律是能量守恒定律在一定条件下的表现形式。为了理解这种说法,我们考虑所有可能的形式的能量。 系统的总能量可以分为三部分:系统在外力场中的势能或位能 $V$ ,系统整体运动的动能 $T$ ,和系统的内能,即热力学能 $U$ 。 $$E=T+V+ ......
热力学 热力 定律 笔记

js/ts 填充表单函数

直接代码 function from(form: string | HTMLFormElement, data: { [key: string]: any }) { let target: Element | null; if (form instanceof Element) { target = ......
表单 函数 js ts

【Python】Main函数的使用方法

Start 在Python中,类(Class)本身没有main函数。但是,您可以在类中定义一个方法(例如main),然后在类的实例中调用该方法。在Python中,通常使用if __name__ == "__main__":来检查当前模块是否作为主程序运行。如果是,则执行相应的代码。 下面是一个简单的 ......
使用方法 函数 方法 Python Main

SDTM初学笔记 - [001] - SDTM基础概念学习

SDTM,全称Study Data Tabulation Model,围绕着observations的概念构建,observations由研究期间收集的一些离散信息组成,通常对应于数据集中的rows。 1 Domains 一个domain是关于一个特定topic的观测的集合。 SDTM的首要目的是展 ......
SDTM 概念 基础 笔记 001

gdb调试应用笔记

GDB介绍(来自man手册): The purpose of a debugger such as GDB is to allow you to see what is going on "inside" another program while it executes -- or what an ......
笔记 gdb

Linux笔记(1)

文件操作命令 1.创建文件 命令:touch - 创建文件 touch 命令主要用于创建普通文件,用法为 touch test.txt 2.查看文件 命令:cat - 查看文件内容 cat命令主要用于查看内容较少的文件,用法为 cat 路径 命令:more - 查看文件内容 more命令主要用于查看 ......
笔记 Linux

《架构师之路:软件架构之美》第一次读书笔记

第一章《什么是架构?》引导读者深入了解软件架构的定义和重要性。它讨论了对架构的不同观点,包括它是如何在整个软件系统中起着指导作用的。该章还简要介绍了软件架构的一些关键概念和术语,如组件、连接器、容器等。 读完第一章后,我了解到软件架构不仅仅是代码的组织方式或系统的外部结构,而是系统中各个组成部分之间 ......
架构 第一次 笔记 软件