基础 笔记 数据spark
Golang学习笔记（八）—— 泛型
泛型 泛型是什么？为什么要用泛型？ 在开发中，会有一些复用性很强的功能，它被应用到很多地方，但为了适用会被不断重写，这很低效。例如一个intADD函数，他能进行 int 的加法，假如我们想进行 float 加法，又得重写一个floatADD函数，泛型就是为了解决这个问题而推出的功能。 想要接收多种类 ......
1、ceph基础
源自：https://blog.csdn.net/x74188/article/details/133842761 https://blog.51cto.com/u_15127572/4193632 http://wed.xjx100.cn/news/249974.html?action=onCli ......
关于大数据平台上任务管理的思考
本文于2019年7月16日完成，发布在个人博客网站上。 考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 作业，比如提交一个hive脚本到计算平台上运行，这个脚本宏观上称为一个作业。 任务，比如mapper，reducer等。 资源，比如CPU时间，内存，硬盘IO，网络 ......
Python Pandas 数据可视化
1、Pandas 的绘图功能 Pandas 内置的绘图功能进行数据可视化是一种快速且有效的方法，它主要依赖于 Matplotlib 库。Pandas 提供了多种绘图类型，适用于不同的数据分析和可视化需求。 1）折线图 使用plot()绘制拆线图，常用参数如下， 参数 描述 x 一维数组或列表，表 ......
【Application Insights】使用CURL命令向Application Insgihts发送测试数据
问题描述 在使用App Service或者Kubernetes等服务时，需要收集一些日志数据并且发送到Application Insights中，当使用SDK或者是服务自带的Application Insights配置时遇见问题，有没有快速的调试方式能验证App Service是否与Applicat ......
MyBatis—Spring 动态数据源事务的处理
在一般的 Spring 应用中，如果底层数据库访问采用的是 MyBatis，那么在大多数情况下，只使用一个单独的数据源，Spring 的事务管理在大多数情况下都是有效的。然而，在一些复杂的业务场景下，如需要在某一时刻访问不同的数据库，由于 Spring 对于事务管理实现的方式，可能不能达到预期的效果 ......
【笔记】wqs 二分
适用范围 wqs 二分可以用来解决类似这样的问题： 令 \(f(x)\) 为恰好使用 \(x\) 次某种操作，求 \(f(p)\)。 \(f(x)\) 具有凸性（图像为上凸或下凸）。 对于一个值 \(k\)，若是下凸壳能较快的求出 \(\min\limits_{i = 1}^n\{f(i) - k\ ......
高级数据结构笔记
树套树 顾名思义，就是一个树套一个树。。。 广义的树套树是指嵌套多层的数据结构。常见的有：线段树套线段树（二维线段树），线段树套平衡树（“二逼平衡树”），分块套平衡树，树状数组套线段树（带修主席树）等等。 在这里，由于 set，map 等 STL 内部实现是平衡树，因此将这些 STL 的嵌套也算作树 ......
期末云计算基础架构平台实操题
1.docker sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ ......
[python]沪深龙虎榜数据导入通达信的自选板块，并标注于K线图上
1 #coding=utf-8 2 3 #读取'[paint]'开头的csv文件 4 #copyright @ WangXinsheng 5 #http://www.cnblogs.com/wangxinsheng/ 6 import os 7 import struct 8 import time ......
计算机系统基础
目录计算机系统实际机器虚拟机器存储系统层次化存储结构高速缓存映像方式同步方式页面淘汰算法磁盘管理移臂调度算法磁盘优化分布磁盘单缓冲区与双缓冲区读取Flynn分类法指令集复杂指令集（CISC）精简指令集（RISC）流水线流水线执行时间计算流水线吞吐率计算流水线加速比计算性能指标可靠性或可用性处理能力或 ......
模式识别自学笔记：最小错误率贝叶斯决策
目标：判断特征x属于标签ω1还是ω2 似然度 = 条件概率密度p(x|ωi) * 先验概率p(ωi) 后验概率p(ωi|x) = 条件概率密度 * 先验概率 / 特征向量的概率分布 比较方法一：直接比较分子大小 由于比较后验概率大小时，分母特征向量的概率分布与特征x无关，比较的后验概率的两个分母（特 ......
程序员三大基础思维简谈：协议、接口和分层
不管是硬件设备、软件概念或者是网络通讯中，协议、接口无处不在，软件系统离不开分层模型。我认为它们应该是计算机类专业中基础的基础，是必学的课程或概念。协议和分层，各种课程都有涉及，但可惜的是，很多计算机类专业都没有设立接口技术这一项。 我当年上大学，接口技术只是一门不受重视的选修课，老师不讲，学生不用 ......
python基础之函数
包含函数定义、调用函数、函数参数、函数的返回值 1. 函数定义 def 函数名(): pass 2. 函数的调用 函数名() 3. 函数的参数 // 位置传参数 def 函数名(a,b): c = a+b print（c） 函数名（1，2） // 关键字传参数 函数名（b=200,a=300) 4. ......
docker学习笔记
目录基本使用搜索镜像下载镜像列出镜像信息列出容器信息创建并运行容器删除容器进入容器执行命令查看日志容器文件拷贝容器运行和停止run命令详解-p端口对外发布(端口映射)-v数据卷-e设置环境变量--name机器命名--restart容器退出后的重启策略其他镜像详细信息容器详细信息容器内进程数据卷高级d ......
UI基础 - UICollectionView 03：瀑布流
■ 简言 1. 实现瀑布流的方式有很多种，但是比较简单的是通过 UICollectionView 实现。瀑布流最重要的是布局：就是要选取最短的那一列来布局 2. 我们知道 UICollectionView 的相关的设置都是由 UICollectionViewLayoutAttributes 来完成的 ......
深度学习图像复原之去雨：常用数据集介绍
可能有帮助的链接：https://paperswithcode.com/task/single-image-deraining 合成数据集 Rain100H 出自 CVPR 2017 论文 Deep Joint Rain Detection and Removal from a Single Ima ......
python基础之字符串、列表、字典
1. 字符串 2. 列表 增加 append(obj) insert（index，obj） extend([]) 修改 下标直接赋值 查找 in/not in 删除 del：根据下标进行删除 pop:删除最后一个元素 remove：根据元素的值删除 其他的 3. 元组 // 定义一个元素的元组需要加 ......
Oracle、达梦：☆获取数据库对象、获取对象的DDL定义语句(达梦)
一、获取数据库对象(Oracle、达梦) 以下方式在达梦DM数据库中都能跑通，Oracle未测试所有的方式。 1、获取对象（表、视图、函数等……） 1.1、获取所有对象——所有模式下的 ①、ALL_OBJECTS视图 数据库所有对象表：包括表、视图、物化视图、函数、存储过程……等 -- 查询所有对象 ......
Linux firewalld 防火墙 笔记
Linux 防火墙策略: 严格过滤入站，允许出站 防火墙有两类: 硬件防火墙(可以组成集群保护)，软件防火墙(本机安装的软件，本机防护)。 1.firewalld防火墙服务： Linux默认安装的防火墙系统服务： firewalld防火墙是centos7系统默认的防火墙管理工具，一般是自带的无需安装 ......
C# 使用protobuf序列化反序列化数据
protobuf是谷歌的一个序列化数据结构的协议，性能高，存储占用小 经过我的测试对比 1，最慢的是C#内置的BinaryFormatter，这个玩意能不用则不用 2，然后是json，用起来很方便，比BinaryFormatter快了1-2倍 3，接下来就是protobuf，不过需要给类的成员加上特 ......
Hive 数据写入流程
概念简介 外部表：删除表时，外部表只删除元数据,不删除数据。适用于数据源被多处使用的场景，便于数据共享。 内部表：删除表时，内部表的元数据和数据会被一起删除。适用于不需要共享的原始数据或中间数据。 分区表：数据较多，为提高计算速度时使用。 内部表&外部表写入流程图 具体流程Demo 以外部表为例： ......
hive分区表数据导入
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区. 1. hive建立分区表 create external ta ......
Hive 复杂数据类型Array，Map，Struct
建表语句，支持嵌套 CREATE TABLE parquet_test ( id int, str string, mp MAP<STRING,STRING>, lst ARRAY<STRING>, strct STRUCT<A:STRING,B:STRING>) PARTITIONED BY (p ......
Hive写入JSON数据
优缺点： 1.JsonSerDe对json数据格式有严格要求，创建的表结果必须与json结构能对应上，否则会报错。 配置 org.openx.data.jsonserde.JsonSerDe 能解决格式异常报错导致整个任务终止的问题。 必须定义好详细字段嵌套的规则类型，不适合提取ODS原文。 2.g ......
Hive Array数据处理
建表 CREATE TABLE IF NOT EXISTS default.array_test( id String COMMENT 'id', name Array<String> COMMENT '名称' ) COMMENT 'array测试' ROW FORMAT DELIMITED FIE ......
vue实现虚拟滚动（面试题：后端给你十万条数据，你怎么处理？）
<template> <div class="viewport" @scroll="scroll"> <div class="list-phantom" :style="{height: totalHeight+'px'}"></div> <div class="list-area" :style= ......
Power BI - 5分钟学习修改数据类型
每天5分钟，今天介绍Power BI修改数据类型 Power BI加载数据时，会尝试将源列的数据类型转换为更高效的存储、计算和数据可视化的数据类型。例如，如果从Excel导入的值的列没有小数值，Power BI Desktop会将整个数据列转换为整数数据类型，这能更好地优化存储提高计算效率。 但是某 ......
（坚持每天都写算法）算法基础复习part1基础算法1-3
发现了一个不太好的习惯，我写东西不喜欢Tab一下，导致行与行之间有点难区分。 题目： 思路：这道题其实考的就是归并，2可以和3比，也可以和6比，也就是说2是可以被使用多次的。之所以使用归并，是因为单个的2以及单个的3也就是单个的数字可以看成是一个数组（关于这个想法，集合也是通用的），那么就要给数组进 ......