爬虫 语法 笔记robots
webrtc QOS笔记三 RTT计算，SRS增加XR
webrtc QOS笔记三 RTT计算，SRS增加XR RTT计算方式 WebRTC中目前有两种方式计算RTT： 基于媒体流发送端的计算（默认开启）。通过Sender Report（SR）与Receiver Report（RR）携带的信息。 基于媒体流接收端的计算。通过RTCP Extended R ......
JavaSE笔记之注解和反射（含案例代码）
一.注解 1. 注解入门 Annotation是从JDK5.0开始引入的新技术 Annotation的作用： 不是程序本身，可以对程序做出解释（这一点和注释（comment）没什么区别） 可以被其他程序（比如：编译器等）读取 Annotation的格式： 注解是以“@注解名”在代码中存在的，还可以添 ......
数据防泄密DLP 学习笔记
一、背景 随着计算机系统在各行各业的普遍应用，办公文件、设计图纸、财务报表等各类数据都以电子文件的形态，在不同的设备（终端、服务器、网络、移动端、云端）上存储、传输、应用，数据安全已经成为政府、军队、企业及个人最为关注的问题。 从宏观上来看，各种网络安全产品、终端安全产品、云安全产品等所追求的根本目 ......
Spring笔记
spring 1.创建项目 GroupID是项目组织唯一的标识符， 比如我的项目叫test001 那么GroupID应该是 com.lixiaoming.test001 域名.公司名.项目名 ArtifactID就是项目的唯一的标识符， 一般是 项目名-xxx 比如test001-model 2.配 ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
Java内存区域学习笔记
源码 → 二进制字节码 → 解释器 → 机器码 → CPU 程序计数器(线程私有)：记住下一条jvm指令执行地址，解释器找到该条指令解释成机器码，运，如此往复 Java Virtual Machine Stacks （Java 虚拟机栈） 每个线程运行时所需要的内存，称为虚拟机栈 每个栈由多个栈帧（ ......
人才及研究方向信息爬取爬虫
人才及研究方向信息爬取爬虫 需求与思路 需求 ： 爬取经济管理相关国家级人才 思路： 1 从title出发，比如中国科学院网站 查看不同学部中院士的介绍 2 分学校，学校官网所在的人才页面，查看相关信息 当前师姐给按着学校分了任务，于是打算先从思路2完成 技术路线 使用 python 爬虫 对结果进 ......
笔记-应用向量自回归模型脉冲效应函数的注意事项
计量经济模型Econometric models 2022-07-27 18:51 发表于江苏 https://mp.weixin.qq.com/s/_ZVeVySe319Ap4UvvmnHWA 向量自回归模型，Vector Autoregression Models,VAR， VAR模型的建立不以 ......
笔记-目前在用的若干个前沿的交错DID模型|参考原理与一些注意事项
https://mp.weixin.qq.com/s/xgIZSLspQbP_MoccHuAgPg 原创 small potatoes 经济理论与实证建模 2022-03-08 01:50 软件：Stata、ssc 一些依赖包 did_multiplegt csdid did_imputation ......
GaussDB语法
Sqlserver和Gauss语法区别： 1、创建数据库用户。 CREATE USER joe WITH PASSWORD 'password'; 2、创建数据库。 CREATE DATABASE mytpcds; 使用以下命令为数据库重新命名： ALTER DATABASE db_tpcds RE ......
ocaml学习笔记
title: Ocaml入门笔记 zhihu-url: zhihu-title-image: zhihu-tags: ocaml, functional programming, 编译原理 Ocaml入门笔记 这个很早写的，然后为了防止记忆丢失，上传到个人博客和知乎作为存底， 大家平时用cpp比较多 ......
帆软finereport笔记：SQL中if的使用
if 判断传入字段aae002的长度，长度为0就是空，不为空则使用后面的条件：and SUBSTR(T.AAE002, 0, 4)='"+aae002+"' 例如： 1 ${if(len(aae002)==0,"","and SUBSTR(T.AAE002, 0, 4)='"+aae002+"'") ......
如何自己搭建Scrapy爬虫框架
当你学了一段时间爬虫后，就会知道各种功能太多而且麻烦。还不如自己整理个框架方便的多。因此，从开始写爬虫程序开始，就会慢慢的接触到一些有关爬虫的框架、效率提升而且扩展也很方便。接下来我将会以Scrapy爬虫框架将我的学习过程记录下供大家参考指正。 一、安装 $ pip install scrapy 二 ......
Python爬虫完整代码拿走就用
对于新手做Python爬虫来说是有点难处的，前期练习的时候可以直接套用模板，这样省时省力还很方便。 使用Python爬取某网站的相关数据，并保存到同目录下Excel。 直接上代码： import re import urllib.error import urllib.request import ......
几步完成Python爬虫采集附源码
对于长期做爬虫行业的程序员我来说，现在随便编写一个爬虫程序也只是分分钟的事情，这次我编辑一个有关图文采集的爬虫，从试错到下载保存等一些列重点全部都写入下面的文章中希望大家避坑。 这里应用self.log简单的做了一下运行日志的处理和记录！ 几个关键点： 1、常规操作，访问出错重试 这里仅仅是简单的写 ......
jenkins学习笔记之十五：SonarSQube API使用
本章主要通过SonarSQube API在pipeline第一次执行时就指定自定义的质量配置和质量阈 API 文档：http://192.168.1.134:9000/web_api 一、编写sonar API(sonarapi.groovy) 注意替换代码中sonarserve的地址及认证凭据，凭 ......
读Java性能权威指南（第2版）笔记24_ Java飞行记录器JFR
1. Java飞行记录器 1.1. Java Flight Recorder，JFR 1.1.1. 最初是BEA公司的JRockit JVM的功能 1.1.2. 在JDK 8中，只有Oracle JVM支持JFR 1.1.3. 在JDK 11中，JFR可以在开源JVM中使用 1.2. JFR数据是J ......
读C#代码整洁之道笔记03_切面关注点、异常处理和线程与并发
1. 核心关注点 1.1. 开发软件的原因 2. 切面关注点 2.1. 所有的代码领域都需要处理相关的问题 3. 结构化模式 3.1. 装饰器模式 3.1.1. 可以在现有对象上添加新的功能，而不改变其结构 3.2. 代理模式 3.2.1. 所提供的对象可以替代客户端使用的实际服务对象 4. 使用P ......
react学习笔记
https://www.bilibili.com/video/BV1jg4y1x7yD/?spm_id_from=333.337.search-card.all.click&vd_source=caabcbd2a759a67e2a3de8acbaaf08ea ......
学习某华笔记
内存 ps -ef | grep java （查找应用进程） jmap -heap 88535 (查看应用申请了多少堆内存) jstack 88535 (查看线程栈) jstack -gc 88535 2000 100 (查看88535进程 2秒查看一次 执行100次) 查看jvm垃圾回收的情况 发 ......
Django笔记四之字段属性
这篇笔记介绍的 field options，也就是 字段的选项属性。 首先，关于 model，是数据库与 python 代码里的一个映射关系，每一个 model 是django.db.models.Model 的一个子类。 model 里每一个属性值（即字段）代表数据库的字段，通过 定义 model ......
SpringBoot学习笔记
SpringBoot 快速入门 打包boot程序并给其他人运行 通过这个插件可以将maven项目打成jar包（普通maven项目也可以打成jar包，但是设置这个插件以后这个jar包就变成了可以运行的jar包，并且在打包的时候会吧直接和间接的依赖都包含进去,以便可以直接运行） 配置文件 三种设置端口的 ......
黑马点评项目学习笔记
黑马点评项目 运行前端代码,将nginx打包的前端代码直接放到自己的工作空间中,然后再当前地址打开cmd 控制台,然后输入start nginx.exe运行这个文件,前端代码就可以访问了 然后直接到浏览器中通过http://localhost:8080/访问前端页面 短信登录功能 发送验证码功能 就 ......
MybatisPlus学习笔记
MybatisPlus 初始化 创建boot项目的时候导入mysql的依赖,创建好以后在里边导入MybatisPlus的坐标(这个坐标包含和mybatis的相关坐标和spring整合mybatis的相关坐标,所以自己不需要再导入这些坐标了) CRUD操作 使用lombok简化实体类的书写 <depe ......
Redis基础学习笔记
Redis基础 Redis的下载与安装 Docker安装redis windows安装redis 使用redis redis的value数据类型 redis常用命令 在java中操作redis 在Java中操作Redis详细讲解 Redis被称为结构化NoSQL(not only SQL,泛指非关系 ......
Asp.Net MVC学习笔记-Filter
Asp.Net MVC的四种过滤器类型： ActionFilter（方法过滤器）：接口名为[IActionFilter],在控制器方法调用前/后执行 ResultFilter（结果过滤器）：接口名为[IResultFilter],在控制器方法调用完，跳转至view页面前/后执行 Authorizat ......
每日总结阅读笔记
《构建之法》这本书时，书上所提到的很多问题都是我们平常在写代码时候会犯的一些小的错误，就我个人而言，在我还没读《构建之法》这本书之前，我还不知道我平常在写代码中犯了这么多的错误，虽然这些错误都是一些小错误，并不影响代码的执行，但是看了《构建之法》这本书之后，才忽然明白原来一些小错误也会造成大的问题。 ......