header nginx信息
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
第八天（nginx第二篇）
4. 正向代理实现 在前面的案例中， 我们了解了nginx作为静态服务器时的应用，如果作为静态服务器，则nginx也只是起到了 运行静态资源的用。如何通过nginx实现正向代理呢？ 比如：我想百度点隐私问题- -！，想通过nginx正向代理实现对百度的访问，这样百度向上记录ip的时候就只 能记录ng ......
pikachu-目录遍历漏洞、敏感信息泄露
概述 目录遍历漏洞概述 在web功能设计中,很多时候我们会要将需要访问的文件定义成变量，从而让前端的功能便的更加灵活。 当用户发起一个前端的请求时，便会将请求的这个文件的值(比如文件名称)传递到后台，后台再执行其对应的文件。 在这个过程中，如果后台没有对前端传进来的值进行严格的安全考虑，则攻击者可能 ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
vue+element-ui+springboot实现修改当前登录用户的信息
正文：话不多说，直接上代码 springboot代码 /** * 根据id修改当前登录用户的信息 * * @param username * @return */ @GetMapping("/username/{username}") public Result findOne(@PathVaria ......
人才及研究方向信息爬取爬虫
人才及研究方向信息爬取爬虫 需求与思路 需求 ： 爬取经济管理相关国家级人才 思路： 1 从title出发，比如中国科学院网站 查看不同学部中院士的介绍 2 分学校，学校官网所在的人才页面，查看相关信息 当前师姐给按着学校分了任务，于是打算先从思路2完成 技术路线 使用 python 爬虫 对结果进 ......
如何防止队列中的信息丢失？
如何防止队列中的信息丢失？ 我们先用两个名词来概括往队列中放入消息的行为和处理队列中消息的行为，称之为生产者与消费者。 应用场景： 订单请求过来，为了快速的响应给前端，需要把相关订单信息直接放入消息队列也就是生产者，然后直接响应前端。 关于消息队列的订单信息，我们后端的业务会给予它们处理。（无论是保 ......
访问nginx报错502日志：failed (13: Permission denied)
1.错误问题 nginx启动成功，但是访问nginx报错502。检查后台项目，使用IP+端口可以正常访问项目的，这说明项目启动成功了。那就是nginx的问题。检查了nginx.conf文件发现配置的反向代理没有问题。最后查看了nginx日志信息，报错信息如下： 13889#13889: *54 co ......
Nginx异常信息 upstream timed out (110: Connection timed out) while reading response header from upstream
upstream timed out (110: Connection timed out) while reading response header from upstream Nginx代理配置如下： ###proxy settings start proxy_http_version 1.1 ......
Nginx反向代理与负载均衡
一、Nginx反向代理 代理分两类：正向代理和单向代理 正向代理：帮助客户访问服务器、缓存服务器内容。 1. 什么是Nginx反向代理 反向代理：reverse proxy，指的是代理外网用户的请求到内部的指定的服务器，并将数据返回给用户的一种方式，这是用的比较多的一种方式。 Nginx 除了可以在 ......
keepalived+nginx 搭建
0x00 环境说明 1.系统环境：centos7.9 2.主机规划 主节点：site1，IP地址：10.20.140.9 备节点：site2，IP地址：10.20.140.10 VIP地址：10.20.140.188 3.带安装软件清单 nginx：主备节点都需安装 keepalived：主备节点都 ......
selenium登录cnblogs-抽屉半自动点赞-xpath的使用-selenium动作链-自动登录12306-打码平台使用-使用打码平台自动登录-使用selenium爬取jd商品信息-scrapy介绍
selenium登录cnblogs-抽屉半自动点赞-xpath的使用-selenium动作链-自动登录12306-打码平台使用-使用打码平台自动登录-使用selenium爬取jd商品信息-scrapy介绍 昨日回顾 # 1 beautifulsoup4 使用 xml解析库 用它来解析爬回来的html ......
jmeter运行日志 报错信息排查
023-03-21 16:08:23,712 ERROR o.a.j.u.BeanShellInterpreter: Error invoking bsh method: eval Sourced file: inline evaluation of: ``import java.util.*; i ......
【信息化】在企业信息化转型过程中的经历和思考
工作经验只有4年不到，但是经历的确实不少，曾经以为我会一直做一名程序员到退休，其中发生了很多事情，然而还是决定转到甲方信息化岗位上。最近1年多，一直都在国企从事信息化方面的工作，也获得了自己的一些思考和心得体会。个人理解，信息化岗其实需要强烈的责任感，干的好和干的差其实对公司的影响并不大，你其实有啥 ......
请求信息十六进制显示、请求信息ASCll码显示
请求信息十六进制显示 代码案例： private static String byteArr2HexStr(byte[] buf,int len){ StringBuffer sbuffer = new StringBuffer(); int cnt = 0; for (int i=0;i<len; ......
导师信息收集
陈凯锐 博士、副教授、硕士生导师（招生方向：控制工程专业硕士） 研究领域：多智能体协同控制、分布式状态估计、无人车和无人机相关研究 电子邮箱: kray@gzhu.edu.cn 2. 常家庆 讲师 研究方向：微流体驱动与控制技术 Email: cjq2018@163.com 3. 陈首彦 博士、副教 ......
nginx课堂笔记
课堂笔记 内容介绍 nginx 1 、 nginx简介 （ 1 ） 什么是nginx和可以做什么事情 （ 2 ） 正向代理 （ 3 ） 反向代理 （ 4 ） 动静分离 2 、 Nginx的安装 （ 1 ） 在linux系统中安装nginx 3 、 Nginx的常用命令和配置文件 4 、 Nginx配 ......
CentOS下如何安装Nginx
1、下载nginx 官方网站 http://nginx.org 下载链接：http://nginx.org/download/ 下载完成后的安装包： 2、使用解压命令进行解压 tar -zxvf nginx-1.13.7.tar.gz 3、在安装所需的安装环境 安装gcc环境 yum install ......
离线安装 Nginx 1.18
离线安装 Nginx 1.18 安装依赖：gcc、gcc-c++、ssl、pcre、zlib。注意：一定要先安装gcc，再安装gcc-c++。然后再安装其他，其他的没有先后顺序。 一、安装依赖 gcc、gcc-c++等依赖需要根据linux版本选择安装，现场根据部署环境自行安装，（系统安装镜像，pa ......
Linux系统下配置nginx执行vim nginx.conf后出现一片空白的原因
Linux系统下配置nginx执行vim nginx.conf后出现一片空白，如下图： 上网查了有几个相同情况的都是输错文件名造成的， 1、https://www.imooc.com/qadetail/352451 2、https://www.imooc.com/qadetail/292654 我也 ......
就业信息搜集系统开发<3>
进度 引入pinia作为状态管理 使用了devtools 必须登陆后才能访问其他页面 登陆后访问权限记录 引入pinia 在main.ts中引入不做赘述，可见pinia官网说明 stores/token.ts export const useTokenStore = defineStore('tok ......
mysql查询所有表及字段的注释信息
查询information_schema.tables表，查询结果去掉4个系统库 SELECT t1.TABLE_SCHEMA 库名, t1.table_name 表名, t1.table_comment 表注释, t2.COLUMN_NAME 字段名, t2.column_comment 字段注释 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
第七天（Nginx第一篇）
Nginx由浅到深 前言 在我们的开发过程中，Nginx是经常使用到的工具，我们常常用来做反向代理、负载均衡等，由于没有系统的学习，对nginx的使用和理解都停留在表面，因此，在这里将nginx进行一次系统的学习，并记录学习过程，本文没有进行实际操作，某些步骤可能存在差错一、nginx的基本概念 n ......
nginx配置小技巧
rewrite location ~ ^/file/ { rewrite "^/file/(.*)$" /$1 break; #proxy_pass_request_headers on; proxy_pass http://172.25.114.5:19000; # minio服务地址 } 实现效 ......
Linux 查看进程占用cpu/内存/io信息
Linux 查看进程占用cpu/内存/io信息 top Display dynamic real-time information about running processes. More information: https://manned.org/top. 单词解释： PID: 进程ID U ......
一个基于序列的弱监督视觉信息抽取学习框架
一、简要介绍 视觉信息提取（VIE）近年来受到了越来越多的关注。现有的方法通常首先将光学字符识别（OCR）结果组织成纯文本，然后利用标记级实体注释作为监督来训练序列标记模型。但是，它花费大量的注释成本，可能导致标签混淆，OCR错误也会显著影响最终性能。在本文中，作者提出了一个统一的弱监督学习框架，称 ......
nginx 将http的请求转发为https
使用 nginx 实现 原 http的请求 转发为 https 的请求 我使用的版本为 nginx-1.22.1 修改 nginx.conf server { listen 80; server_name localhost; #charset koi8-r; #access_log logs/ho ......