架构 分布式storming笔记
每日总结阅读笔记
《构建之法》这本书时，书上所提到的很多问题都是我们平常在写代码时候会犯的一些小的错误，就我个人而言，在我还没读《构建之法》这本书之前，我还不知道我平常在写代码中犯了这么多的错误，虽然这些错误都是一些小错误，并不影响代码的执行，但是看了《构建之法》这本书之后，才忽然明白原来一些小错误也会造成大的问题。 ......
性能测试技术笔记(二)：如何准备测试环境和数据
转载：https://www.cnblogs.com/imyalost/p/17023276.html 这篇文章，继续分享工作笔记中关于性能测试的内容。 上一篇文章聊了如何快速上手压测工作的几个切入点和注意事项，这些内容可以帮助我们更快的介入项目。 但实际工作中，前期的准备工作也是很繁琐的，其中测试 ......
性能测试技术笔记(一)：如何快速上手压测工作
转载：https://www.cnblogs.com/imyalost/p/17022275.html 新年第一个工作日，继续整理之前的技术笔记。 前面通过三篇的内容，将自动化测试相关的技术笔记做了整理汇总。 这篇内容，主要是我刚开始做性能测试时的一些记录，对新手或者刚进入一个新项目的同学，应该有所 ......
性能测试技术笔记(三)：如何设计一个压测平台
转载：https://www.cnblogs.com/imyalost/p/17031603.html 前面两篇笔记介绍了如何快速上手压测项目以及压测前准备测试环境和测试数据的一些方法。 这篇文章，我想分享下关于压测平台功能设计和技术实现方案的一些技术笔记内容，内容主要来源于两方面： 18年我所在性 ......
点分治学习笔记
前言 模拟赛T2要用点分，于是花了一晚上学了一下，结果还是搞不掉T2 正文 点分是一种树上分治思想，以某点为分治点，对其子节点进行分治，最后再回收统计答案。 1.找分治点 寻找树的重心做为分治点，如果选的不是重心，当图为一条链时，复杂度退化，由O(n log n )退化至O(n^2) 2.分治 递归 ......
3/21人月神话读书笔记
作为开章第一篇，就先来说说为什么“人月”是“神话”。 小学的时候我们都做过这样的应用题：“工厂需要加工一批零件，安排5名工人的话需要10小时完成，那么安排25名工人加工，多少小时可以完成”之类的。对于这类题目，小学一二年级的学生都可以轻松得到答案。也正是如此，如今的工作中，仍有不少同仁秉持这样的小学 ......
C++ 迪利克雷（Dirichlet）分布
遇到一个要使用 dirichlet 分布的情形，发现 C++ 标准库中没有现成的。查阅维基百科发现，虽然它挺复杂，但是它跟 Gamma 分布有如下关系： 设有 K 个相互独立且分别满足 Gamma 分布的分布： $$Y_1 \sim Gamma(\alpha_1, \theta), ..., Y_K ......
字符串哈希笔记
字符串哈希 1. 定义 一个把字符串映射到整数的函数$f$，这个$f$被称为哈希函数； 这个函数的作用：希望可以判断两个字符是否相等； 1.1 Hash的思想 核心思想在于： 如何将一个字符串映射到一个值域较小、方便比较的范围？ 大范围映射到小范围： 对一个大数进行取模，例如一个大的质数 注意： 在 ......
分布式协议与算法实战 - 分布式算法 gossip QuorumNWR PBFT ZAB
Gossip 二阶段提交协议和Raft需要大部分节点能够工作，在极端情况，如只有一个节点能正常运行，这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式，将信息传播到网络中，并在一定时间内使所有节点数据一致。 直接邮寄（Direct Mail）：直接 ......
计算机组成与设计 硬件软件接口 第五版 流水线部分笔记
TODO1：为什么果壳不在 IDU 阶段读出寄存器？而要在后端？是跟超标量、乱序有关系吗？ TODO2: 修改PC难道比修改其它寄存器更快吗？ TODO3: 长流水线有什么缺点? TODO4: 需要两个存储器吗？优缺点？ TODO5: 气泡指令是什么？为什么可以起到阻塞的作用？比起直接阻塞有什么优缺 ......
Lucas/exLucas 定理 学习笔记
0x00 前言 Lucas 定理适用于求在模 p 意义下的组合数（p 是质数）。此时， p 一般不大，但 n,m 很大，这样无法通过常规的方法预处理（一是空间可能开不下，二是如果 m>p ，则 n-m 和 m 不一定有逆元）。 当然你可以用杨辉三角递推，但这是 $\text{O}(n^2)$ 的。 ......
构建之法阅读笔记1
一、我过去是怎么做的 过去，刚开始学C时，我还不知道这些编程语言能干什么用，而且老师也只是只讲课本知识，动手实践很少，导致现在回想大一时并没有什么收获可以回味。加上自己对这个专业也没有什么兴趣，只知道找工作容易。课下从未动手敲过代码。面对一些难得项目，学校的编程比赛我都没勇气去参加，甚至我都不敢去想 ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
构建之法阅读笔记1
软件=程序+软件工程，程序就是算法和数据结构，而软件工程包括构建管理软件，源代码的管理，软件的设计，对软件质量测试的软件测试，项目管理，以及用户体验和用户界面设计等。程序是软件的基础，而软件工程决定了软件的质量。 软件的本质决定了其特性:复杂性，不可见性，易变性，服从性，非连续性等。 软件工程和计算 ......
Cadence入门笔记（四）：PCB封装制作
新建文件 首先打开allegro，选择新建一个Packge symbol 随后调整一下图纸的单位和边框大小扩展（把调整Extends可以把原点居中放置，原生只在左下角） 为了调用之前设计好的pad文件，需要修改user preferences里的paths路径，将padpath和psmpath路径修 ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
[学习笔记] CDQ分治
引入 - 分治 分治，就是将讲原问题不断细分直到规模小到能够解决，然后一层层向上合并得到答案的过程。 归并排序 大致思想：把序列拆成左右两部分，分别归并排序，然后使用两个指针按序合并左右部分。 归并求逆序对 归并求逆序对是分治的一个经典例子。 要做的就是在合并过程中计算逆序对对数。 由于合并的是两个 ......
Redis实现分布式锁
Redis实现分布式锁 前言 分布式锁的实现有三种方式 数据库乐观锁 基于Redis的分布式锁 基于Zookeeper的分布式锁 分布式锁满足的条件 为了确保分布式锁可用，我们至少要保证锁的实现同时满足以下几个条件 互斥性：在任意时刻只有一个客户端能持有锁 不会死锁：即使有一个客户端在持有锁的期间发 ......
nginx课堂笔记
课堂笔记 内容介绍 nginx 1 、 nginx简介 （ 1 ） 什么是nginx和可以做什么事情 （ 2 ） 正向代理 （ 3 ） 反向代理 （ 4 ） 动静分离 2 、 Nginx的安装 （ 1 ） 在linux系统中安装nginx 3 、 Nginx的常用命令和配置文件 4 、 Nginx配 ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
树链剖分学习笔记（1）
两大DFS 树链剖分是一个比较简单易懂的算法，其两个基础操作为两次dfs，第一次dfs求出每个节点的父节点（$f_{i}$），深度（$dep_{i}$）,子树大小（$size_{i}$），重儿子（$son_{i}$）。其中，重儿子是其子节点中字数最大的，所以不难写出第一次dfs的代码： void d ......
分布式ID生成-雪花算法(Snowflake)
1 描述 使用原生Java方式生成雪花算法, 雪花算法是推特公司开源的生成唯一ID的算法, 性能更高，可以避免对第三方依赖的使用, 减少耦合 1）能满足高并发分布式系统环境下ID不重复 2）基于时间戳，可以保证基本有序递增，即按照时间趋势递增（有些业务场景对这个有要求） 3）算法本身不依赖第三方的库 ......
为什么Tomcat架构要这么设计？这篇文章告诉你答案！
Tomcat体系架构 Tomcat项目结构 bin目录 bin目录主要是用来存放tomcat的命令，主要有两大类，一类是以.sh结尾的（linux命令），另一类是以.bat结尾的（windows命令）。 很多环境变量的设置都在此处，例如可以设置JDK路径、tomcat路径 startup文件：主要是 ......
mongo笔记
1、nosql 优点： 高可扩展 分布式 架构灵活 2、表连接，mongo不支持 database collection 3、服务端 mongod 客户端 mongo 4、创建集合 db.createCollection('集合名称') db.集合名称.drop() 5、更改语句 db.Person ......
【笔记】electron + react + antd
electron Electron是一个使用 JavaScript、HTML 和 CSS 构建桌面应用程序的框架。 嵌入 Chromium 和 Node.js 到 二进制的 Electron 允许您保持一个 JavaScript 代码代码库并创建 在Windows上运行的跨平台应用 macOS和Li ......
C#初步学习4（个人笔记，基于老赵.Net的视频自学，不喜勿喷）
//此笔记仅针对个人学习而写，会有所缺失的内容，不喜勿喷 初步学习 C#中的类 C#中的类也和java相似 先来创建一个“Student”类 其内“Show”方法并不是静态方法，要创建“Student”的实例来进行调用 通过该实例没有报错，我们可以知道C#类中也有默认写出的空构造方法 现在我们来取消 ......
SqlSugar 实践笔记
使用 Insertable + ExecuteReturnSnowflakeIdAsync 为Id赋值时Id字段不能自增 数据库为SqlServer2012，实体的Id字段标记IsPrimaryKey = true属性，新增时使用雪花算法创建Id并将其赋值给新增记录，此时数据表Id字段不能设置为自增 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
【笔记】C++缺省源
C++竞赛使用缺省源（包括几次迭代的多个功能） 点击查看代码 /* Author: Sean_xzx Right Output! & Accepted! 本题核心： 1. 本题步骤： 1. */ #include <bits/stdc++.h> #define rep(i, a, b) for(in ......
后缀数组SA学习笔记
洛谷模板题 题意：读入一个长度为 $ n $ 的由大小写英文字母或数字组成的字符串，请把这个字符串的所有非空后缀按字典序（用 ASCII 数值比较）从小到大排序，然后按顺序输出后缀的第一个字符在原串中的位置。位置编号为 $ 1 $ 到 $ n $。其中$1\le n \le 10^6$ 讲解清楚，码 ......