函数coalesce笔记hive
总结笔记5
1.Azure data lake,data factory, databricks,sql DB 2.文件,DB,API的ETL经验, 3.Azure权限和安全体系 4.逻辑和物理分层模型 5.熟练SQL能力 6.具备编程能力,例如python,C#,scala 7.机器学习 8.Agile项目管 ......
总结笔记1
1.数据颗粒度, 维度 2.是数据量 3.笛卡尔积 加条件,内连接 外连接等 4.行转列 sql case when的理解 造列 行转列 case when / if 列转行 union all 列转换成字符串GROUP_CONCAT 5.hive 中 MR 6.hive join 7. hive ......
总结笔记2
关联规则 AB测试 聚类算法 查找问题:漏斗分析 横向分析 小辛野子: 先是一个sql,让算新增用户数,7日内的留存 小辛野子: 然后问了决策树算法、聚类算法、关联规则 小辛野子: 解释贝叶斯定理的公式 小辛野子: 用假设检验和置信区间解释第一类错误第二类错误 小辛野子: 还有各种因果推断方法 ......
总结笔记4
hive sql函数 字符串函数:1.length: length(string A)2.reverse: reverse(string A)3.concat: concat(string A,string B)4.concat_ws: concat_ws(string sep,string A,s ......
c语言笔记1
# C语言笔记1(c简介,环境设置,程序结构,Linux基本知识) ## 1. c简介 c语言是一种通用的高级语言,最初是为开发unix操作系统而设计的。 unix操作系统,c编译器,和几乎所有的unix应用程序都是用c语言编写的。由于各种原因,c语言现在已经成为一种广泛使用的专业语言。 1.易于学 ......
PMP 学习笔记(九)
08.09 星期三 有新干系人加入时,先分析,再做其他操作 敏捷项目有新需求,先列入到待办项列表,再分析影响,不需要分类 风险管理计划是项目经理自己用的,不是用于上报的 要削减预算,必须缩小范围 质量审计和合规有对应关系 整合工作不能委托/授权给其他人 风险问题要“疑似从有” 技术意见不一致,鼓励其 ......
《深入理解Java虚拟机》读书笔记:内存分配策略
Java技术体系中所提倡的自动内存管理最终可以归结为自动化地解决了两个问题:给对象分配内存以及回收分配给对象的内存。关于回收内存这一点,我们已经使用了大量篇幅去介绍虚拟机中的垃圾收集器体系以及运作原理,现在我们再一起来探讨一下给对象分配内存的那点事儿。对象的内存分配,往大方向讲,就是在堆上分配,对象... ......
[学习笔记] 概率 & 期望
# 一、一些定义 注:以下定义 **并非** 严谨定义,只是便于理解。 - $P(A)$:事件 $A$ 发生的概率。 - $E(X)$:随机变量 $X$ 的期望值,有公式 $E(X) = \displaystyle \sum_{w}w \times P(X = w)$。 - 独立事件:两个事件 $A ......
1.hive 简介
[TOC] ## 1.1 hive出现的原因 FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了hive这门技术,并继续发展成为一个成功的Apache项目(hive是由Facebook开源用于解决海量结构化日志的数据统计)==》广泛应用原因: + ......
JS6种函数
1.普通函数 2.对象方法函数 var o={ sayHi:function(){ } } 3.构造函数 4.绑定事件函数 5.定时器函数 6.立即执行函数 黑马前端的规定 ......
问题排查Hive本地计算模式失败
# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**,也就是java内存溢出。== ### 解决方案: 1. 配置yarn集群的资源分配。 - 由于是本地计算,因此container一定是申请在本地的,限制AM申请container容器资源的大 ......
JavaScript学习笔记
## JavaScript #### 1 JavaScript 输出 JavaScript 能够以不同方式"显示"数据: - 使用 window.alert() 写入警告框 - 使用 document.write() 写入 HTML 输出 - 使用 innerHTML 写入 HTML 元素 - 使用 ......
<学习笔记>整除分块
$[CQOI2007] 余数求和$ 求 $G(n,k)=\sum_{i=1}^{n}k \mod i$ 因为 $k \mod i=k-\lfloor \frac{k}{i}\rfloor*i$ 所以就成了求 $n*k-\sum_{i=1}^{n}\lfloor \frac{k}{i}\rfloor* ......
问题排查Hive本地计算模式失败
# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**,也就是java内存溢出。== ### 解决方案: 1. 配置yarn集群的资源分配。 - 由于是本地计算,因此container一定是申请在本地的,限制AM申请container容器资源的大 ......
python实战练习:print函数 end参数
1 d = {'a': ['apple', 'abandon', 'ant'], 'b': ['banana', 'bee', 'become'], 'c': ['cat', 'come'], 'd': 'down'} 2 3 str = input() 4 5 for i in d[str]: 6 ......
青龙脚本学习笔记
1. 安装 https://github.com/whyour/qinglong https://raw.githubusercontent.com/whyour/qinglong/master/docker/docker-compose.yml 5700 端口进行配置,搞完后把端口关了,免得被攻击 ......
IOS开发笔记
- 基本概念 - Certificates (证书-认证开发者) - Certificates-证书,是一个用来认证开发者身份的东西,没有它就不能在app store发布应用,也不能给测试手机安装你开发的应用。 - 大家都知道苹果开发者是付费的,其实开发者付费就主要就是用来申请这个证书的 - Ide ......
代数与计算 笔记整理(未完)
## Lecture 1 课程介绍: (1) 图同构的群论算法。 (2) 匹配的代数算法。 前置知识:群论,包括群同态、合成列、群作用、自同构等。 **定义** 一张图 $G = (V, E)$,$V$:点集,$E \subset \binom V2$:边集。其中 $\binom V2$ 表示从 $ ......
Java相关笔记
SpringBoot分离打包 将依赖包单独放到文件夹下,生成的jar就比较小了,方便上传。同时如果你使用了Docker,页减少上传、下载镜像的流量及时间,提高部署效率 原pom.xml 构建部分代码 <plugins> <plugin> <groupId>org.springframework.bo ......
java 8 函数式编程
# 函数式编程 ## 1. Lambda 表达式 ### 1.1 概念 对某些匿名内部类的写法优化,特点是可推导可省略。**基本格式:(参数列表) -> {代码}**。 - 例如: ```java new Thread(new Runnable() { @Override public void r ......
根号(n)求单个数欧拉函数
``` #define ll long long ll ola(ll n) //求正整数n的欧拉函数(类似常规的素数判定) { ll ans=n; for(ll i=2;i*i1) ans=ans*(n-1)/n; //比如原始n=10,最后一个因子5 return ans; } ``` ......
MySQL 的开窗函数
开窗函数 (Window Function)提供了行集之间的计算能力,在现代的主流关系型数据库中,基本都提供了相似的功能,这些功能在一些业务开发的过程中很有用,本文将简要介绍这些常用的开窗函数 ## ROW_NUMBER() `ROW_NUMBER()` 函数的使用语法如下: ``` sql ROW ......
WPF 入门笔记 - 07 - MVVM示例
鸽了好久的内容,终于补上了。这篇文章对该合集前几篇文章的内容做了简要的总结和应用,同时按照MVVM设计模式完成了一个学习小Demo,希望可以帮到正在学习的友友们。有什么问题可以评论区留言讨论。 ......
go 进阶训练营 微服务可用性(中)笔记
## 过载保护 ### 令牌桶算法 存放固定容量令牌的桶,按照固定速率往桶里添加令牌 https://pkg.go.dev/golang.org/x/time/rate ### 漏桶算法 作为计量工具(The Leaky Bucket Algorithm as a Meter)时,可以用于流量整形( ......
【HIVE系列】01-HIVE 常用操作
title: 【HIVE系列】01-HIVE 常用操作 date: 2018-11-13 20:20:31 update: 2018-11-15 17:10:43 categories: - 大数据技术 - hive tags: [hive] >> 参考资料: https://blog.csdn.n ......
关于hive的字段注释乱码解决
今天我发现我的DBeaver执行完sql后,表的注释乱码,深究下来是要去设置hive的编码,要不注释是乱码。 教程:hive设置中文编码格式utf-8_hive建表指定字符集_2021xyz666的博客-CSDN博客 ......
Python文件路径解谜:深入剖析os.path系列函数的精髓
## 介绍 在Python中,os.path模块提供了一系列用于处理文件路径和文件系统的函数。它是Python标准库中os模块的一部分。本文将深入探讨os.path系列函数的使用方法,从入门到精通。 ## 目录 1. 导入os.path模块 2. 获取文件路径信息 - os.path.abspath ......
linux笔记-基础命令
## 关机命令 ``` shutdown -h now/10 #现在/10分钟 shutdown -c #取消 shutdown -r 5 #重启 halt #直接关机 reboot #直接重启 poweroff #直接关机 ``` ## 检查网卡地址配置 ``` ip address show i ......
hive如何提高查询性能
本文会通过四个方面介绍Hive性能调优,主要包括: √性能调优工具 √设计优化策略 √数据存储优化 √作业优化技巧 ## 1.合并中间表 一个日志文件中,每一行记录,会有很多很多字段,四五十个字段很正常。实际分析中,常常使用少数几个字段将原始的表中数据,依据业务需求提取出要分析的字段,数据放入到对应 ......