课程学习
【博学谷学习记录】超强总结，用心分享 | Linux 赋值和读取相关命令
【博学谷IT技术支持】 # 一、linux命令 linux命令是对liunx系统进行管理的命令。通过命令使linux系统能正常运行。liunx命令在系统中有两种类型：内置shell命令和linux命令。 # 二、赋值和读取相关命令 **cp 赋值文件命令** - cp -a a4 a5: 该命令会赋 ......
【博学谷学习记录】超强总结，用心分享 | 数据倾斜
【博学谷IT技术支持】 # 什么是数据倾斜？ 这个概念在百度百科中解释为在分布式缓存的集群中，不同节点负责处理一定范围的缓存数据。如果缓存数据分散度不够，导致大量的缓存数据集中到一台或者几台服务节点上，称为数据倾斜。一般来说数据倾斜是由于负载均衡实施的效果不好引起的。 简单的讲就是单个计算节点的计算 ......
【博学谷学习记录】超强总结，用心分享 | hadoop的组成
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # hadoop的构成 hadoop集群主要包含：HDFS集群、MapReduce、YARN集群。HDFS集群复制海量数据的存储，MapReduce负责海量计算，Yarn集群存在数据运算时的资源调度。 - hdfs集群主要包含了角色na ......
【博学谷学习记录】超强总结，用心分享 | yarn的执行流程
【博学谷IT技术支持】 # yarn的组成部分 hadoop是由Common、HDFS、YARN、MapReduce等核心模块组成，yarn负责解决资源调度问题，这里介绍下yarn的业务执行流程。 - yarn是Master/Slave结构，主要包含ResourceManage、NodeManage ......
【博学谷学习记录】超强总结，用心分享 | hive 日期函数与条件函数
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # 操作 ## 日期函数 - 获取当前时间 ``` -- 获取当前时间 -- 获取年月日 select `current_date`(); -- 2022-10-30 -- 获取年月日时分秒 select `current_timest ......
【博学谷学习记录】超强总结，用心分享 | hive分区与分桶的区别
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # 概念 - 分区表： 将数据分散到多个子目录中，在执行查询是，可以根据条件加快查询效率 - 分桶表：是相对分区更细的颗粒度划分，分桶表是将表查分到不同的文件中，根据数据表某列的hash值进行分区，对某列数据分区就是对该列属性值的has ......
【博学谷学习记录】超强总结，用心分享 | MapReduec编程
【博学谷IT技术支持】 # 一、介绍 MapReduce是将一个大的计算任务拆分成一个个小任务，让小任务在不同的计算机中进行处理，最后将任务的结果进行汇总的过程。 MR的工作流程可以分为三个阶段，分别是map、shuffle、reduce # 二、编程 ## Mapper阶段 自定义一个类来集成Ma ......
【博学谷学习记录】超强总结，用心分享 | jupyter常用功能
# jupyter 安装 文档地址https://jupyter.org/install ```js pip install notebook ``` 启动命令 ```js jupyter notebook ``` # jupyter-themes 修改主题 安装主题 https://github. ......
【博学谷学习记录】超强总结，用心分享 | hbase基础操作
【博学谷IT技术支持】 # HBase的介绍 - HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式操作系统。 - 它是建立在HDFS之上的数据库系统，HBase是不支持SQL的，没有表关系，也无法join，不支持事务。 - HBase是基于google发布BigTable这篇论文而产生的， ......
【博学谷学习记录】超强总结，用心分享 | 系统资源监控-psutil
【博学谷IT技术支持】 # 一、 介绍 [psutil](https://psutil.readthedocs.io/en/latest/#install-1)（python 系统和进程实用程序）是一个跨平台库，用于 在**Python中检索有关正在运行的** **进程**和**系统利用率**（CP ......
【博学谷学习记录】超强总结，用心分享 | python基础学习（数据类型，运算符）
【博学谷IT技术支持】 # 基础数据类型 Python 中的变量不需要声明。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建 ## 赋值方式 1. 直接赋值 ```js a = 1 #整型变量 b = 1.0 #浮点型变量 c = 'abc' #字符串 ``` 2. 多个赋值 ```js a ......
go中的并发学习
### 代码源自于https://github.com/lotusirous/go-concurrency-patterns #### 自此对各个示例代码进行调试。 #### [1-boring](https://github.com/lotusirous/go-concurrency-patter ......
博学谷学习记录】超强总结，用心分享 | mongodb基础用法
【博学谷IT技术支持】 # 数据库连接 后端数据库连接语法： ```js mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]] ``` 1. mon ......
【博学谷学习记录】超强总结，用心分享 | 集合
【博学谷IT技术支持】 # 集合 - 集合根据存储分为单列集合**java.util.Collection**和双列结合**java.util.Map**， - 集合的长度是可变的， - 集合只能存引用数据类型,如果要存基本数据类型,需要存对应的包装类。 - 数组可以存基本数据类型和引用数据类型 # ......
【博学谷学习记录】超强总结，用心分享 | java基础
【博学谷IT技术支持】 # 前言 `java是一门非常好的语言，比较有必要学习一下：` 随着科技发展，只会前端是不行的，学习一门后端序言非常有必要，这里记录下自己学习的过程。 # 一、数据类型 java是一种强类型语言，数据必须明确类型。 基础数据类型有8种，分别是 - 整数类型：byte, sho ......
博学谷学习记录】超强总结，用心分享 | 常用api
【博学谷IT技术支持】 # 常用API ## Math类的常用方法 方法名 说明 public static int abs(int a) 返回参数的绝对值 public static double ceil(double a) 向上取整 public static double floor(dou ......
opencv学习笔记03-鼠标回调与trackbar
# opencv 简易笔记 3--鼠标回调与 trackbar ## 1.设置鼠标回调函数 ```python import cv2 import numpy def mouse_callback(event, x, y, flags, userdata): if event == 1: print ......
opencv学习笔记02-视频读取与写入
# opencv 简易笔记 2 ## 2.视频读取和截取 ```python import cv2 # 窗口命名 cv2.namedWindow("video", cv2.WINDOW_NORMAL) cv2.resizeWindow("video", 500, 500) # 读取视频 video ......
【安全学习之路】Day14
 : 逆序对与原序列
# 逆序对与原序列 > 在《组合数学》中有这么一个从逆序列构建一个排列的过程……而刚好有一场考试有考了类似的问题，于是在此总结一下。 [TOC] ## 逆序列 假定我们有序列 $P$ 是 $\{1, 2, \cdots, n\}$ 的一个排列。如果 $i p_j$ 则称数对 $(p_i, p_j)$ ......
NumPy学习6
今天学习 NumPy位运算 12, NumPy位运算NumPy 中提供了以下按位运算函数：numpy按位运算函数序号 函数 位运算符 描述说明1 bitwise_and & 计算数组元素之间的按位与运算。2 bitwise_or | 计算数组元素之间的按位或运算。3 invert ~ 计算数组元素之 ......
【博学谷学习记录】超强总结，用心分享 | spark知识点总结2
【博学谷IT技术支持】 #### Action动作算子 * reduce: 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 * collect: 在驱动程序中，以数组的形式返回数据集的所有元素 * count: 返回RDD的元素个数 * first: 返回RDD的第一个元素（ ......