爬虫 语法 笔记robots
性能测试技术笔记(一)：如何快速上手压测工作
转载：https://www.cnblogs.com/imyalost/p/17022275.html 新年第一个工作日，继续整理之前的技术笔记。 前面通过三篇的内容，将自动化测试相关的技术笔记做了整理汇总。 这篇内容，主要是我刚开始做性能测试时的一些记录，对新手或者刚进入一个新项目的同学，应该有所 ......
性能测试技术笔记(三)：如何设计一个压测平台
转载：https://www.cnblogs.com/imyalost/p/17031603.html 前面两篇笔记介绍了如何快速上手压测项目以及压测前准备测试环境和测试数据的一些方法。 这篇文章，我想分享下关于压测平台功能设计和技术实现方案的一些技术笔记内容，内容主要来源于两方面： 18年我所在性 ......
点分治学习笔记
前言 模拟赛T2要用点分，于是花了一晚上学了一下，结果还是搞不掉T2 正文 点分是一种树上分治思想，以某点为分治点，对其子节点进行分治，最后再回收统计答案。 1.找分治点 寻找树的重心做为分治点，如果选的不是重心，当图为一条链时，复杂度退化，由O(n log n )退化至O(n^2) 2.分治 递归 ......
3/21人月神话读书笔记
作为开章第一篇，就先来说说为什么“人月”是“神话”。 小学的时候我们都做过这样的应用题：“工厂需要加工一批零件，安排5名工人的话需要10小时完成，那么安排25名工人加工，多少小时可以完成”之类的。对于这类题目，小学一二年级的学生都可以轻松得到答案。也正是如此，如今的工作中，仍有不少同仁秉持这样的小学 ......
字符串哈希笔记
字符串哈希 1. 定义 一个把字符串映射到整数的函数$f$，这个$f$被称为哈希函数； 这个函数的作用：希望可以判断两个字符是否相等； 1.1 Hash的思想 核心思想在于： 如何将一个字符串映射到一个值域较小、方便比较的范围？ 大范围映射到小范围： 对一个大数进行取模，例如一个大的质数 注意： 在 ......
爬虫
今日内容 0 bs4介绍，遍历文档树 # beautifulsoup4 从HTML或XML文件中提取数据的Python库 # 用它来解析爬取回来的xml # 安装：pip install beautifulsoup4 pip install lxml #解析库 # soup=BeautifulSou ......
爬虫4
今日内容 0 selenium 登录cnblogs from selenium import webdriver from selenium.webdriver.common.by import By import time import json bro = webdriver.Chrome(ex ......
爬虫5
今日内容 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是 ......
计算机组成与设计 硬件软件接口 第五版 流水线部分笔记
TODO1：为什么果壳不在 IDU 阶段读出寄存器？而要在后端？是跟超标量、乱序有关系吗？ TODO2: 修改PC难道比修改其它寄存器更快吗？ TODO3: 长流水线有什么缺点? TODO4: 需要两个存储器吗？优缺点？ TODO5: 气泡指令是什么？为什么可以起到阻塞的作用？比起直接阻塞有什么优缺 ......
Lucas/exLucas 定理 学习笔记
0x00 前言 Lucas 定理适用于求在模 p 意义下的组合数（p 是质数）。此时， p 一般不大，但 n,m 很大，这样无法通过常规的方法预处理（一是空间可能开不下，二是如果 m>p ，则 n-m 和 m 不一定有逆元）。 当然你可以用杨辉三角递推，但这是 $\text{O}(n^2)$ 的。 ......
构建之法阅读笔记1
一、我过去是怎么做的 过去，刚开始学C时，我还不知道这些编程语言能干什么用，而且老师也只是只讲课本知识，动手实践很少，导致现在回想大一时并没有什么收获可以回味。加上自己对这个专业也没有什么兴趣，只知道找工作容易。课下从未动手敲过代码。面对一些难得项目，学校的编程比赛我都没勇气去参加，甚至我都不敢去想 ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
构建之法阅读笔记1
软件=程序+软件工程，程序就是算法和数据结构，而软件工程包括构建管理软件，源代码的管理，软件的设计，对软件质量测试的软件测试，项目管理，以及用户体验和用户界面设计等。程序是软件的基础，而软件工程决定了软件的质量。 软件的本质决定了其特性:复杂性，不可见性，易变性，服从性，非连续性等。 软件工程和计算 ......
Vue基础语法整理
# vue基础用法&基础原理整理 1. vue基础知识和原理 1.1 初识Vue 想让Vue工作，就必须创建一个Vue实例，且要传入一个配置对象 demo容器里的代码依然符合html规范，只不过混入了一些特殊的Vue语法 demo容器里的代码被称为【Vue模板】 Vue实例和容器是一一对应的 ......
Cadence入门笔记（四）：PCB封装制作
新建文件 首先打开allegro，选择新建一个Packge symbol 随后调整一下图纸的单位和边框大小扩展（把调整Extends可以把原点居中放置，原生只在左下角） 为了调用之前设计好的pad文件，需要修改user preferences里的paths路径，将padpath和psmpath路径修 ......
[学习笔记] CDQ分治
引入 - 分治 分治，就是将讲原问题不断细分直到规模小到能够解决，然后一层层向上合并得到答案的过程。 归并排序 大致思想：把序列拆成左右两部分，分别归并排序，然后使用两个指针按序合并左右部分。 归并求逆序对 归并求逆序对是分治的一个经典例子。 要做的就是在合并过程中计算逆序对对数。 由于合并的是两个 ......
nginx课堂笔记
课堂笔记 内容介绍 nginx 1 、 nginx简介 （ 1 ） 什么是nginx和可以做什么事情 （ 2 ） 正向代理 （ 3 ） 反向代理 （ 4 ） 动静分离 2 、 Nginx的安装 （ 1 ） 在linux系统中安装nginx 3 、 Nginx的常用命令和配置文件 4 、 Nginx配 ......
Python常用语法
[m:n] #切片操作，取a[m]~a[n-1]之间的内容，m\n可以为负，m>n时返回空 [m::n] #从a[m]开始，每跳|n|个取一个，当n为负时逆序取数，当n为正的时候，m为空则默认m=0，n为负时，m为空则默认为-1 若局部变量和全局变量名重合：函数内存在变量，函数内只会调用局部变量，如 ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
爬虫selenium模块
selenium基本使用 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 可以直接用代码模拟真实的浏览器操作，每一步的点击 输入等 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉 ......
树链剖分学习笔记（1）
两大DFS 树链剖分是一个比较简单易懂的算法，其两个基础操作为两次dfs，第一次dfs求出每个节点的父节点（$f_{i}$），深度（$dep_{i}$）,子树大小（$size_{i}$），重儿子（$son_{i}$）。其中，重儿子是其子节点中字数最大的，所以不难写出第一次dfs的代码： void d ......
mongo笔记
1、nosql 优点： 高可扩展 分布式 架构灵活 2、表连接，mongo不支持 database collection 3、服务端 mongod 客户端 mongo 4、创建集合 db.createCollection('集合名称') db.集合名称.drop() 5、更改语句 db.Person ......
【笔记】electron + react + antd
electron Electron是一个使用 JavaScript、HTML 和 CSS 构建桌面应用程序的框架。 嵌入 Chromium 和 Node.js 到 二进制的 Electron 允许您保持一个 JavaScript 代码代码库并创建 在Windows上运行的跨平台应用 macOS和Li ......
go语法基础
Go语言语法类似于C语言，因此熟悉C语言及其派生语言（[C++]、[C#]、Objective-C 等）的人都会迅速熟悉这门语言。 C语言的有些语法会让代码可读性降低甚至发生歧义。Go语言在C语言的基础上取其精华，弃其糟粕，将C语言中较为容易发生错误的写法进行调整，做出相应的编译提示。 去掉循环冗余 ......
C#初步学习4（个人笔记，基于老赵.Net的视频自学，不喜勿喷）
//此笔记仅针对个人学习而写，会有所缺失的内容，不喜勿喷 初步学习 C#中的类 C#中的类也和java相似 先来创建一个“Student”类 其内“Show”方法并不是静态方法，要创建“Student”的实例来进行调用 通过该实例没有报错，我们可以知道C#类中也有默认写出的空构造方法 现在我们来取消 ......
Vulnhub:Mr-Robot:1靶机
kali：192.168.111.111 靶机：192.168.111.237 信息收集 端口扫描 nmap -A -v -sV -T5 -p- --script=http-enum 192.168.111.237 访问robots.txt，发现两个文件 发现fsocity.dic可以下载，查看后推 ......
SqlSugar 实践笔记
使用 Insertable + ExecuteReturnSnowflakeIdAsync 为Id赋值时Id字段不能自增 数据库为SqlServer2012，实体的Id字段标记IsPrimaryKey = true属性，新增时使用雪花算法创建Id并将其赋值给新增记录，此时数据表Id字段不能设置为自增 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
「解题报告」ARC128F Game against Robot
好厉害的题。震撼到了。 大部分参考 Atcoder 计数乱做 - 苹果蓝17。 我的观察能力还是太差，一点条件都观察不出来，连 $p$ 固定怎么做都不会。 下面令 $n \gets \frac{n}{2}$。 首先考虑对于一个固定的 $p$ 要怎么做。考虑对方可以选的集合的充要条件，发现只需要选的第 ......
【笔记】C++缺省源
C++竞赛使用缺省源（包括几次迭代的多个功能） 点击查看代码 /* Author: Sean_xzx Right Output! & Accepted! 本题核心： 1. 本题步骤： 1. */ #include <bits/stdc++.h> #define rep(i, a, b) for(in ......