爬虫 神器requests工具
pikachu-SSRF(Server-Side Request Forgery:服务器端请求伪造）
概述 其形成的原因大都是由于服务端提供了从其他服务器应用获取数据的功能,但又没有对目标地址做严格过滤与限制 导致攻击者可以传入任意的地址来让后端服务器对其发起请求,并返回对该目标地址请求的数据 数据流:攻击者 >服务器 >目标地址 根据后台使用的函数的不同,对应的影响和利用方法又有不一样 PHP中下 ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
如何写好日记？让写日记工具助你写出精彩
很多人小时候都被父母、老师要求写日记，写日记不仅可以锻炼我们的文笔，也可以让我们记录下来美好、有意思的事情，从而更好地反思自我，慢慢进步。但是随着自己长大，每天要完成的任务越来越多，也就逐渐放弃每天写日记这个好习惯了。 此外还有一部分小伙伴表示，自己倒是想每天都写日记，但是无奈自己的文笔不好，无从下 ......
人才及研究方向信息爬取爬虫
人才及研究方向信息爬取爬虫 需求与思路 需求 ： 爬取经济管理相关国家级人才 思路： 1 从title出发，比如中国科学院网站 查看不同学部中院士的介绍 2 分学校，学校官网所在的人才页面，查看相关信息 当前师姐给按着学校分了任务，于是打算先从思路2完成 技术路线 使用 python 爬虫 对结果进 ......
iOS 常用命令行工具总结
平时工作中会经常用到命令行工具Command Lines Tool。而Command Line Tool本质是一个命令行工具包，内部有很多有用的工具，如Apple LLVM compiler、Make等。而它里面中的一部分工具属于 LLVM 序列，比如dwarfdump、ar其本质为llvm-dwa ......
轻量级工具emoji-java处理emoji表情字符
转载：https://blog.csdn.net/qq_44799924/article/details/117114788 ......
网络测试工具之tcping（可以测试能不能ping通端口）
用原生的ping命令，是不能ping测试端口能不能ping通的 1、tcping的介绍 Ping命令可以检查网络的连通性，帮助分析和判定网络故障，是Windows、Unix和Linux系统下的一个命令。有 些网络禁ping，想知道网络和端口的连通性，tcping就是一个不错的选择。而tcping是使 ......
fastadmin后台页面的工具栏添加批量操作按钮详细教程
fastadmin后台页面的工具栏添加批量操作按钮详细教程 LordForce 版权声明：本文为CSDN博主「LordForce」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/LordForce/article ......
网站app原型设计工具
网站app原型设计工具:axure,Mockups,墨刀 Balsamiq Mockups 3 网站原型设计工具非常高效，非常简单，几分钟就能搞定比axure好用很多 墨刀 - 免费的移动应用原型与线框图工具https://modao.cc/墨刀是国内团队提供的一个基于浏览器的手机原型设计工具，号称 ......
手撸图片压缩工具
手撸图片压缩工具 前一段时间因为要将一些生活照片传给别人，由于是相机拍的单张图片普遍在10M以上，于是就想着把这些大尺寸图片简单进行下压缩 上百度找了一圈图片压缩软件，发现要不是不好用，要不是就得付费批量压缩又或者付费去除水印。功能付费我支持，只是一张图片收费一次，图片多了，感觉不合适吧。本着自己动 ......
如何自己搭建Scrapy爬虫框架
当你学了一段时间爬虫后，就会知道各种功能太多而且麻烦。还不如自己整理个框架方便的多。因此，从开始写爬虫程序开始，就会慢慢的接触到一些有关爬虫的框架、效率提升而且扩展也很方便。接下来我将会以Scrapy爬虫框架将我的学习过程记录下供大家参考指正。 一、安装 $ pip install scrapy 二 ......
Python爬虫完整代码拿走就用
对于新手做Python爬虫来说是有点难处的，前期练习的时候可以直接套用模板，这样省时省力还很方便。 使用Python爬取某网站的相关数据，并保存到同目录下Excel。 直接上代码： import re import urllib.error import urllib.request import ......
几步完成Python爬虫采集附源码
对于长期做爬虫行业的程序员我来说，现在随便编写一个爬虫程序也只是分分钟的事情，这次我编辑一个有关图文采集的爬虫，从试错到下载保存等一些列重点全部都写入下面的文章中希望大家避坑。 这里应用self.log简单的做了一下运行日志的处理和记录！ 几个关键点： 1、常规操作，访问出错重试 这里仅仅是简单的写 ......
71、颜色查找工具（调整复杂的画面）
注意：在【颜色查找工具】里面可以导入不同的素材文件 （1）颜色查找工具：这里只需要在【3DLUT】里面选择文件就可以了 （2）这个【颜色查找工具】和【窗口】—>【动作】也可以修改图片， 缺点：生成的图层比较多 （3）给背景添加天空，【编辑】—>【天空替换】，添加天空之后，然后点击【颜色查找】，选择合 ......
IT工具知识-15：在Chrome中通过Javascript获取B站合集视频选集名称及时长.
0.所需工具 chrome内核浏览器(我这里用的edge chromium) 1.操作步骤 打开b站视频链接(带选集的那种) 按下f12 点击控制台(Console) 在下面输入框输入以下代码 var box=document.getElementsByClassName('video-sectio ......
想要加班少，这些工具少不了
官网下载地址：http://www.redisant.cn/ Redis Assistant Redis 可视化管理与监控——适用于字符串、列表、散列、集合、有序集合、流。 ZooKeeper Assistant ZooKeeper 可视化管理与监控——以树状结构展示节点、监控服务器状态、多种数据格 ......
Linux 常用网络工具清单
Linux 常用网络工具清单 ping 「这些计算机还在线吗？」 curl 发送任何你需要的 HTTP 请求。 httpie 和 curl 一样，但操作更简单 wget 下载文件 tc 流量控制命令，可以降低其他人的网速 dig / nslookup 「这个域名的 IP 地址是多少？」（DNS 查询 ......
08-逻辑仿真工具VCS-mismatch
逻辑仿真工具VCS mismatch,预计的仿真结果和实际仿真结果不同,寻找原因? 首先考虑代码,,不要让代码跑到工具的盲区中 其次考虑仿真工具的问题 +race -- 将竞争冒险的情况写到文件中 不同仿真工具仿真出来的结果不同,不同版本的仿真器,仿真出来的结果不同 RTL级仿真和门级仿真结果不同 ......
【THM】SQLMAP(Sqlmap工具使用简介)-学习
本文相关的TryHackMe实验房间链接：https://tryhackme.com/room/sqlmap 本文相关内容：了解并使用 Sqlmap 来对 Web 应用程序进行漏洞利用。 介绍 在本文中，我们将了解 sqlmap 以及 如何使用它来 利用目标Web应用程序中的 SQL 注入漏洞。 什 ......
Centos 安装 arm-linux-gnueabihf-gcc （armcc交叉工具链）
环境：CentOS 64位 准备工作： 1. 在linux系统的/usr/local/新新建(mkdir)arm文件夹，并改权限(chmod)为777。 mkdir arm 【新建 /usr/local/arm/ 目录】 chmod 777 arm 【修改此文件夹的权限 ，可用 命令 # cd -l ......
10 个顶级开源 API 网关和管理工具
微服务和API（应用程序编程接口的缩写）在可持续的现代应用程序开发中几乎变得司空见惯。API 驱动微服务（一种将应用程序构建为小型、独立且可管理的服务/片段的架构设计），它们定义了（API 的）消费者如何与底层服务交互和使用。 对于企业和其他组织而言，API 已成为数字化转型战略的核心。API 使用 ......
爬虫
今日内容 0 bs4介绍，遍历文档树 # beautifulsoup4 从HTML或XML文件中提取数据的Python库 # 用它来解析爬取回来的xml # 安装：pip install beautifulsoup4 pip install lxml #解析库 # soup=BeautifulSou ......
爬虫4
今日内容 0 selenium 登录cnblogs from selenium import webdriver from selenium.webdriver.common.by import By import time import json bro = webdriver.Chrome(ex ......
爬虫5
今日内容 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是 ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
标注工具：make-sense
make-sense | 图像标注工具 1、用来查看已标注coco数据集 1）标注结果 （1）txt文件，一张图片一个标注 （2）在标注txt文件夹中手动添加一个label 2、导入label ......
idea工具-Java语言-tomcat服务使用
1.IDEA工具 使用Ultimate版本，下载 IntelliJ IDEA 2.下载tomcat 不需要安装，解压到任意位置，下载 官网 3.打开idea创建Java项目 3.1右键选择Add Frameworks Support勾选Web Application 3.2如图依次点击选择tomca ......