笔记spark
读改变未来的九大算法笔记02_数据库
 # 1. 基础思想 ## 1.1. 预写日志记录 ## 1.2. 两阶段提交 ## 1.3. 关系数据库 # 2 ......
Java官方笔记6继承
# 继承 Java只有单继承，最顶级的父类是Object。 子类会继承父类的fields和methods，而不会继承constructors，因为constructors不属于methods，但是子类可以通过super调用父类的constructor。 子类继承父类的范围是：public、prote ......
读书笔记: Psychological Power between knowledge and practice; Inverted Totalitarianism;
John Dewey once remarked that equality becomes dangerous when it is widely praised but empty in practice. Perhaps the most crucial element in the stru ......
vuepress快速安装笔记
参考 https://vuepress.vuejs.org/guide/getting-started.html#prerequisites https://blog.llyth.cn/1065.html 注意：应该是cd到新建项目文件夹的docs里，然后yarn install 。 在项目文件夹里 ......
学习笔记——VMWare的使用和Windows的安装
2023-06-02 一、VMware介绍 1.1 VMware即虚拟机软件，用于模拟计算机（虚拟机/客户机） 实体机（是实实在在的计算机） （1）特点 ①多启动系统 一个时刻只能运行一个系统，切换时必须重启。 ②虚拟PC软件 一台机器上同时运行多个系统 二、在虚拟机中安装操作系统 2.1 安装前的 ......
celery笔记二之建立celery项目、配置及几种加载方式
> 本文首发于公众号：Hunter后端 > 原文链接：[celery笔记二之建立celery项目、配置及几种加载方式](https://mp.weixin.qq.com/s/KZjuypZ-e9EHi7XkKXt0Xg) 接下来我们创建一个 celery 项目，文件夹及目录如下： ```python ......
vue学习笔记一
# VUE自学 [TOC] ## 一、vue核心的相关学习 本人想先看vue3的但是奈何没文化看不懂，环境也不会装，直接就寄了，只能从头看。 ### 一，搭建vue开发环境 #### 1.下载vue.js http://v2.cn.vuejs.org/v2/guide/installation.ht ......
Spark集成Hive
### 命令行集成Hive 将hive中的`hive-site.xml`配置文件拷贝到spark配置文件目录下，仅需要以下内容 ```xml hive.metastore.warehouse.dir /user/hive/warehouse javax.jdo.option.ConnectionUR ......
07代码大全2阅读笔记
第十章 变量 隐式声明可能带来错误。 应该尽量避免隐式声明（问题：python中无法避免隐式声明）；遵循良好的命名规则并经常检查。 变量初始化策略 在声明时初始化。 第一次使用时初始化。 理想情况下，在第一次使用时生命并初始化变量。 可能情况下使用final和const。 特别注意计数器、累加器。 ......
08代码大全2阅读笔记
第十一章 变量名的力量 变量名应该完全、准确地表示变量指代的事物。避免x xx xxx一类无意义变量名，避免dat tmp一类泛泛的变量名。 长度：最佳为10~16个字符，8~20个字符也可以。 变量名与作用域： 短变量名，如i tmp常常用作临时变量。有些人因为短变量名有风险，所以建议即使临时变量 ......
python学习笔记
# 一、切片操作 # 第一个位置代表区间左端点，第二个位置代表区间右端点，区间左闭右开，第三个位置代表步长 print(' ') seq = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] print(seq[1:4]) print(seq[:5]) print(seq[5:]) pr ......
Spark3.x扩展内容
### 3.0.0主要的新特性： 1. 在TPC-DS基准测试中，通过启用自适应查询执行、动态分区裁剪等其他优化措施，相比于Spark 2.4，性能提升了2倍 2. 兼容ANSI SQL 3. 对pandas API的重大改进，包括python类型hints及其他的pandas UDFs 4. 简化 ......
stm32笔记[7]-串口多字节收发
## 主要功能 使用Alios Things Dev kit 开发板实现串口多字节收发,使用内部RTC时钟和AD转换. ## 硬件平台 - 开发板:Alios Things Dev kit - 芯片:stm32l496vgt6 - 系统时钟:80MHz - LED1:PB6(低电平有效) - LED ......
学习笔记——软件、软件分类、软件测试、数据的形式与数制（进制之间的转化）
2023-06-02 一、软件 1、软件包含的内容：程序、数据和文档 ①程序：一遍是由编程语言编写的，例如：C、C++、java、Python等。 ②数据：一般使用文件或者数据库来存储数据 ③文档：包括安装说明书、帮助文档、许可协议等。 2、软件分类 2.1 安装功能用途分类 （1）系统软件 例如： ......
opencv学习笔记05-numpy 介绍
# opencv 简易笔记 5--numpy 介绍 ## 1.numpy 介绍 NumPy（Numerical Python）是 Python 的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比 Python 自身的嵌套列表（nested list structure）结构要高效的多（该 ......
[极客大挑战 2019]EasySQL1 做题笔记
看标题是Easy SQL,简单SQL注入，想来不会特别难 先尝试输入admin 123456 发现账号和密码都错误 那就尝试传说中的万能密码 1' or '1'='1'# 输入的时候记得切换为英文输入法 出现flag ......
001 数据库学习笔记
数据库：文件和文件组组成。 数据库文件==》 1.主要数据文件：存放数据和数据库的初始化信息；每个数据库有且只能有一个； .mdf 扩展名； 2.次要数据文件：存放除了主要数据文件以为的所有数据文件；次要数据文件不是必须的，可以没有；可以是一个或多个；.ndf 扩展名； 3.事务日志文件：存放用于恢 ......
Markdown学习笔记2-技巧
# 1. 技巧 上一篇文章对Markdown的基本语法熟悉了一遍，现在就开始来探索Markdown的各种技巧。 Markdown的技巧有很多，这里先对比word的功能，个人觉得Markdown必需要有的功能来探索， 如果探索中发现Markdown实现不了（借助插件）的话，个人就会放弃了 后续也会收集 ......
《加密与解密》- 第一章 - 基础知识 - 笔记
（纠正了书中一些不正确的地方，如P11中2**64bytes等于16TB已修改为16EB） 1.1 什么是加密与解密 1.1.1 软件的加密与解密 略 1.1.2 软件逆向工程 内容： 去除使用限制或者添加功能 获得源代码 硬件的复制和模拟 要求品质： 保持好奇，崇尚自由 勤奋+毅力 精通至少一门编 ......
【学习笔记】(2) 基础莫队——优美的暴力
莫队，是莫涛发明的一种解决区间查询等问题的离线算法，基于[分块](https://www.cnblogs.com/luckyblock/p/13629547.html)思想，复杂度一般为 $\mathcal{O}(N \sqrt{N})$ # 普通莫队 ## 例题：[P1972 [SDOI2009] ......
组合数学课程笔记（？）：图的匹配
### 二分图匹配和霍尔定理 #### 相异代表系 我们用一个相异代表系描述二分图匹配问题。我们有若干个集合 $\{S_1,S_2,S_3,\cdots,S_m\}$，现在要给每个集合选定一个代表 $x_i\in S_i$，并且每个 $x_i$ 是相异的。 容易发现这个问题和二分图匹配问题是等价的。 ......
Java官方笔记5数字和字符串
# Numbers Number的子类：  另外还有BigDecimal和BigInteger，用于高精度计算，At ......
Ubuntu 使用笔记
# Ubuntu 使用笔记 这篇学习笔记将用于记录本人在使用 Ubuntu 系统过程中的学习心得，它会被存储在在`https://github.com/owlman/study_note`项目的`OperatingSystem/UNIX-like/Linux/`目录下一个名为的`Distributi ......
Java官方笔记4类和对象
# 创建类 定义类Bicycle： ```java public class Bicycle { // the Bicycle class has // three fields public int cadence; public int gear; public int speed; // th ......
为什么使用Flink替代Spark？
一，Flink是真正的流处理，延迟在毫秒级，Spark Streaming是微批，延迟在秒级。 二，Flink可以处理事件时间，而Spark Streaming只能处理机器时间，无法保证时间语义的正确性。 三，Flink的检查点算法比Spark Streaming更加灵活，性能更高。Spark St ......
0002-array笔记
[toc] 1. std::array的size()是编译期确定的,不可改变大小 2. std::span和std::array区别 展开查看 `span`是一个轻量级的容器,可以包装任意类型和大小的连续内存区域，它并不拥有所包装的内存，只是提供了对这些内存的非拥有式视图 `span`的作用是提供对 ......
人月神话阅读笔记3
在之前我的阅读笔记（读后感）更新到2就没有更新了，大概是忘记继续读这本书，转身去读构建之法了。 今天来写一篇人月神话的阅读笔记。 简单杂碎的记一些重点 之前读到了第五章的画蛇添足 第六章是贯彻执行 设计结果必须由一个人或两个人完成，以确保这些决定是一致的。 手册 形式化定义 直接整合到代码 会议 多 ......
Spark性能优化
### 性能优化分析 一个计算任务的执行主要依赖于CPU、内存、带宽 Spark是一个基于内存的计算引擎，所以对它来说，影响最大的可能就是内存，一般我们的任务遇到了性能瓶颈大概率都是内存的问题，当然了CPU和带宽也可能会影响程序的性能，这个情况也不是没有的，只是比较少。 Spark性能优化，其实主要 ......
Spark扩展内容
### 宽依赖和窄依赖 - 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父R ......
Spark之RDD相关
### 创建RDD RDD是Spark编程的核心，在进行Spark编程时，首要任务是创建一个初始的RDD，这样就相当于设置了Spark应用程序的输入源数据 然后在创建了初始的RDD之后，才可以通过Spark 提供的一些高阶函数，对这个RDD进行操作，来获取其它的RDD Spark提供三种创建RDD方 ......