笔记 数据hadoop hive
GFS数据抽取与导出至MYSQL
前言：近期，公司APP需要接入天气类数据，多方寻找，终于找到一个开源的且有较高权威的、免费的数据源，中间踩过的一些坑一一记录下来。 1.数据来源GFS（全球天气预报系统(Global Forecasting System)），该系统每天发布4次全球范围的气象数据，分辨率有四种：0.25° x 0.2 ......
nginx 进行tcpip 数据端口映射
TCP port mapping stream{ upstream tcpLink { hash $remote_addr consistent; server xxx:3306 weight=5 max_fails=3 fail_timeout=30s; } server { listen 700 ......
Vue2学习笔记
VUE官网: https://cn.vuejs.org/ 参考教程: https://v2.cn.vuejs.org/v2/guide 快速入门 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>Quick Vue Example ......
[重读经典论文]zfnet笔记
1. 前言 ZFNet是一个深度卷积神经网络（CNN），由Matthew D. Zeiler和Rob Fergus于2013年在论文《Visualizing and Understanding Convolutional Networks》中提出，ZFNet就是以他们姓的首字母进行命名的，在ILSV ......
.NET 通过Word模板，使用AsposeWord进行数据动态导出Word
@ 先看一下导出的整体效果（如下图），其中标注的区域都是通过后台动态生成的： 一、先在Word中建立好表格模板 1.1、参数创建方法（Word和WPS） 1.1.1、Office中Word域的创建 1.1.1.1、选中指定的单元格 -> 点击头部工具栏中的”插入“ -> 选择 ”文档部件“ -> 选 ......
数据结构（1）
单链表 #include <iostream> using namespace std; const int N = 1e6+10; int shuzhi[N], next_position[N]; int head, idx ; //头结点下标、当前的下标 void init() { head = ......
机器学习算法（五）：基于企鹅数据集的决策树分类预测
决策树的主要优点：
1. 具有很好的解释性，模型可以生成可以理解的规则。
2. 可以发现特征的重要程度。
3. 模型的计算复杂度较低。
决策树的主要缺点：
1. 模型容易过拟合，需要采用减枝技术处理。
2. 不能很好利用连续型特征。
3. 预测能力有限，无法达到其他强监督模型效果。
4. 方差... ......
Django笔记八之model中Meta参数的使用
前面介绍了 model 的字段属性，字段类型，这篇笔记介绍一下 model 的 Meta 选项。 这个选项提供了一些参数，比如排序（ordering），表名（db_table）等。 但这都不是必需的，都是作为可选项，主要是为使用者提供方便的、自定义的一些用法。 以下是本次笔记的目录列表： db_ta ......
数据类型-Sorted Set（待补充）
Redis为什么使用skiplist而不是平衡树 Redis中的skiplist主要是为了实现sorted set相关的功能，红黑树当然也能实现其功能，为什么redis作者当初在实现的时候用了skiplist而不是红黑树、b树之类的平衡树？ 而且显然红黑树比skiplist更节省内存啊！ Redis ......
142.环形链表II——学习笔记
###题目：给定一个链表的头节点 head ，返回链表开始入环的第一个节点。 如果链表无环，则返回 null。 ####如果链表中有某个节点，可以通过连续跟踪 next 指针再次到达，则链表中存在环。 为了表示给定链表中的环，评测系统内部使用整数 pos 来表示链表尾连接到链表中的位置（索引从 0 ......
面试题 02.07. 链表相交——学习笔记
###题目：给你两个单链表的头节点 headA 和 headB ，请你找出并返回两个单链表相交的起始节点。如果两个链表没有交点，返回 null 。 ####图示两个链表在节点 c1 开始相交： ####题目数据 保证 整个链式结构中不存在环。 ####注意，函数返回结果后，链表必须 保持其原始结构 ......
24. 两两交换链表中的节点——学习笔记
###题目：给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。 示例 1： 输入：head = [1,2,3,4] 输出：[2,1,4,3] 示例 2： 输入：head = [] 输出：[] 示例 3： 输入：head ......
19.删除链表的倒数第N个节点——学习笔记
###题目：给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点 示例 1： 输入：head = [1,2,3,4,5], n = 2 输出：[1,2,3,5] 示例 2： 输入：head = [1], n = 1 输出：[] 示例 3： 输入：head = [1,2], n = 1 输 ......
链表理论基础——学习笔记
链表理论基础 1. 链表的介绍 链表是一种通过指针串联在一起的线性结构，每个节点由数据域和指针域组成。 2. 链表的类型 单向链表 链表的入口节点被称为头节点，链表的最后一个节点的指针域指向null。 双向链表 每个节点由数据域和两个指针域组成，分别指向前一节点和后一节点。 循环链表 链表的收尾相连 ......
707.设计链表——学习笔记
###题目：你可以选择使用单链表或者双链表，设计并实现自己的链表。 ####单链表中的节点应该具备两个属性：val 和 next 。val 是当前节点的值，next 是指向下一个节点的指针/引用。 ####如果是双向链表，则还需要属性 prev 以指示链表中的上一个节点。假设链表中的所有节点下标从 ......
206.反转链表——学习笔记
###题目：给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 示例 1： 输入：head = [1,2,3,4,5] 输出：[5,4,3,2,1] 示例 2： 输入：head = [1,2] 输出：[2,1] 示例 3： 输入：head = [] 输出：[] 提示： 链表中节点的数 ......
203.移除链表元素——学习笔记
###题目：给你一个链表的头节点 head 和一个整数 val ，请你删除链表中所有满足 Node.val == val 的节点，并返回 新的头节点 。 示例 1： 输入：head = [1,2,6,3,4,5,6], val = 6 输出：[1,2,3,4,5] 示例 2： 输入：head = [ ......
CentOS7环境下数据库运维---主从复制、读写分离
1.理解MySQL主从复制原理 主服务器开启binlog日志，从库生成log dump线程，将binlog日志传给从库I/O线程，从库生成俩个线程，一个是I/O线程，一个是SQL线程，I/O线程去请主库的binlog日志，并将binlog日志中的文件写入relay log中，sql线程会读取rela ......
数据结构-跳表
数据结构 /* ZSETs use a specialized version of Skiplists */ typedef struct zskiplistNode { sds ele; double score; struct zskiplistNode *backward; struct z ......
数据结构（第二章）
数据结构（第二章） 一、线性表 概念：线性表是具有相同数据类型的n(n>0)个数据元素的有序数列。 第一个元素没有直接前驱，最后一个元素没有直接后继。 表中元素的个数有限 表中元素具有逻辑上的顺序性，表中元素有其先后顺序。 表中元素都是数据元素，每个元素都是单个元素。 表中元素的数据类型相同，这意味 ......
前端用户图像传递给后端数据库
在业务中，我们将图片上传到服务器之后，需要将图片保存地址返回给前端和保存在数据库中，那么怎么获得这个地址呢？ 图片上传到哪里了？？？ 上传到什么服务器？？？ 前端上传 后端获取URL地址，保存数据库 数据库查询，返回URL地址前端，显示 ......
jwt 学习笔记
概述 JWT，Java Web Token，通过 JSON 形式作为 Web 应用中的令牌，用于在各方之间安全地将信息作为 JSON 对象传输，在数据传输过程中还可以完成数据加密、签名等相关处理 JWT 的作用如下： 授权：一旦用户登录，每个后续请求将包括 JWT，从而允许用户访问该令牌允许的路由， ......
关于 CancelToken 的学习笔记
最简单的例子： 1 private static async Task Main(string[] args) 2 { 3 CancellationTokenSource tokenSource = new CancellationTokenSource(); 4 CancellationToken ......
ghidra---导出数据到文件
Ghidra里，没有比较方便的方法直接导出数据到文件，可以执行python脚本实现。
写了一个Ghidra用的脚本: https://github.com/qux-bbb/ghidra-scripts/blob/master/export_data_to_file.py, 可以复制直接用了，下面... ......
批量删除和如何进行部分字段修改数据
1.单个删除和批量删除： 2.url 3.单个删除：将id为1的is_delete改成True（即1） 4.批量删除：会将包含在列表中的ID进行删除_即is_delete改为1 5.添加partial=True可以在传参的时候只传需要修改的部分字段 5_1.添加partial=True响应测试 ......
如何快速实现数据库读写分离
实现读写分离可以使用AOP（面向切面编程）思想，通过划分事务的读写属性，将其分别交由读写数据库实例来处理。下面是实现读写分离的代码示例：```using System;using System.Linq;using System.Transactions;using System.Collectio ......
数据从业者成长的5个阶段
数据从业者的使命是用数据驱动业务，但数据本身无法直接驱动业务，因此必然要经历从数据到信息、从信息到知识，再从知识到智慧的过程。 数据从业者的成长要起于数据，终于业务，让数据产生真正的智慧。 参考链接:数据从业者成长的五个阶段 ......
mysql数据库备份与恢复
环境：CentOS7.9 mysql-5.7 1.数据库准备，建表 create database school; CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR(20) NOT NULL , ......