爬虫request网站
flutter使用Charles代理爬虫
由于flutter的http请求代理不走系统，所以只能在代码中设置代理ip： class MyHttpOverrides extends HttpOverrides { bool _badCertificateCallback(X509Certificate cert, String host, i ......
爬虫常用方法
1. selenium转beautifulsoup: pageSource = driver.page_source soup = BeautifulSoup(pageSource,'html.parser') 2. bs4 查找页面内容： resultPages = soup.find(text= ......
【Jmeter】Request1输出作为Request2输入-后置处理器
【Jmeter】基础介绍-详细 接上文，继续介绍Jmeter，本文关注点为如何解决上文中提到的第一个问题，即： 需要实现Request1的返回作为Request2的RequestBody或Header Jmeter支持后置处理器，即对http请求（或其他取样器）的返回值进行提取并赋值给变量。 本例中 ......
DRF之request
1. request.data post请求内的数据都放在了request.data2.request.query_parme get 请求内携带的参数都放在了request.query_parms3. request.FILES def FILES(self): # Leave this one ......
[Wechat]【微信开放平台】下绑定【微信公众号】、并创建【网站应用】的操作指南
Step1 【微信开放平台】下【注册账号】 微信开放平台-注册 注册账号的访问路径：https://open.weixin.qq.com/ 操作路径：微信开放平台(首页)-注册 填写基本信息 登记主体信息-【政府/企业/个人/其他组织】 填写公众号【管理员】的身份证姓名、身份证号码、手机号及验证码。 ......
记一次excel vba 爬虫实战
基于办公与互联网隔离，自带的office软件没有带本地帮助工具，因此在写vba程序时比较不方便(后来发现07有自带，心中吐血，瞎折腾些什么）。所以想到通过爬虫在官方摘录下来作为参考。 所使工具: python3.7,requests、selenium库 前端方面：使用了jquery、jstree 设 ......
Day 25 25.1 Scrapy框架之全站爬虫(CrawlSpider)
Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中，spider 如果要重新发送请求的话，就需要自己解析页面，然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
全网最全100个AI工具导航网站合集
随着ChatGPT年前的爆火，人工智能也变成当今最热门的领域之一，它正在改变着我们的生活和工作方式。无论你是想要学习人工智能的基础知识，还是想要利用人工智能来提升你的业务效率和创新能力，都需要找到合适的AI工具来帮助你实现目标。 但是，在海量的AI工具中，如何快速找到适合自己的那一款呢？这就需要借助 ......
热舞帮 热舞福利是一个热舞帮美女舞蹈类视频网站
热舞帮 热舞福利 技术交流地址 meijiaobang 热舞的永久发布地址 https://github.com/meijiaobang/meijiaobang.github.io 美脚帮 老司机学习点赞收藏 beautyleg 4K 魔丽舞社、 维拉热舞、 HD/4K 绝对舞力 JVID、JM假面 ......
AIAGC导航(aiagc.com): 最全的AI工具导航网站
AIAGC导航是一个专注于AI人工智能工具网站推荐的导航网站，可以帮助大家发现最新、最好用、最有趣的AI绘画、AI智能写作助手、AI聊天机器人、AI配音、AI音乐、AI换脸等各种AI工具应用软件，让AI帮助你更高效的工作、学习和娱乐。 网址链接：https://www.aiagc.com AIAGC ......
记录常用的爬虫代码段（长期更新）
判断文件路径不存在创建文件路径 if not osp.exists(path): os.makedirs(path) 去除字符串非法字符，防止创建文件夹报错 #去掉非法字符 pitow = re.sub('[\/:*?"<>|]','-',name) ......
pathon爬虫实战——爬取某网站的多页番剧内容
（本博客只为技术分学习，无其他用途） 1.准备 涉及的第三方库如下： 2.网页分析 2.1 检验网页 1. 运行浏览器，打开网页，按快捷键F12打开开发者工具，F5刷新页面 2. 在右侧点击Network，打开browser?sort=rank&page=1 文件，可以看到各种信息，查看表头 3. ......
接口请求413 Request Entity Too large问题处理
刚看到这个问题时，发现是请求接口时 传递的参数过大，于是就在度娘上搜索了关于这个问题的处理方法； 参考了好几篇文章，基本都说是配置问题 最终，参考了知乎上的这篇文章：https://zhuanlan.zhihu.com/p/76679642 关于上篇文章中的前端配置参数：bodyParser 在ex ......
SpringBoot利用Filter获取请求数据request和修改返回response中的数据
WrapperedRequest import javax.servlet.ReadListener; import javax.servlet.ServletInputStream; import javax.servlet.http.HttpServletRequest; import java ......
某电商网站的优惠券系统存在可遍历领取漏洞
介绍 逻辑漏洞是指应用程序、系统或者服务中存在的错误逻辑，它可以被用过全控制、获取未授权的访问权限、窃取敏感信息等行为。在优惠券可遍历领取的情况下，攻击者可以通过枚举优惠券编号或者使用一些自动化工具，实现大量、快速地领取优惠而造成商家巨大的经济损失 测试步骤 打开该小程序： 该小程序是一个购物平台， ......
【网站盒子】提供：免费或收费名片设计模板和工具
【网站盒子】提供： 【设计师必看】 【自媒体必看】 【图片素材福利】 这些网站提供了大量的免费或收费名片设计模板和工具，方便用户快速创建和定制名片。以下是一些常见的名片底图模板网站： Canva: Canva是一款免费的在线图形设计工具，提供各种免费和付费的名片设计模板，用户可以根据自己的需求进行定 ......
一篇博客上手request和response
概念 request：获取请求数据 response：设置响应数据 Request request继承体系 ServletRequest——Java提供的请求对象根接口 HttpServletRequest——Java提供的对http协议封装的请求对象接口 RequestFacade——tomcat ......
一些有用的网站
1、算法与数据结构 LeetCode OI - WiKi 参考算法学习笔记 LABULADONG 的算法网站 2、Git Learn Git Branching 3、C 和 C++ Compiler Explorer Cpp_Primer_Practice ......
分享我免费可用API接口网站
### 一、高德开放平台 > 与真实世界联通 - [高德开放平台](https://lbs.amap.com/product/map#/)为开发者赋能，将地图精致地呈现在您的应用中无论基于哪种平台，都可以通过高德开放平台API和SDK，轻松地完成地图的构建工作 ### 二、APISpace > [A ......
Day 24 24.3 Scrapy框架进阶之start_requests重写
Scrapy框架进阶之start_requests重写 start_rquests重写 scrapy中start_url是通过start_requests来进行处理的， 其实现代码如下 def start_requests(self): cls = self.__class__ if method_ ......
渗透测试_网站后台拿WebShell
模板编辑拿webshell 通过修改模块写入一句话，网站再调用模板的时，会自动加载这个模板，运行后门。 文件上传拿webshell 通过后台的上传模块，上传网页后门，就可以拿到webshell 文件写入拿webshell 通过可控参数将恶意代码写入文件里，即可获取webshell zip自解压拿we ......
脑瘫网站视频加速
首先找浏览器右侧更多工具，打开开发工具（或者F12） 在控制台输入代码运行：document.querySelector("video").playbackRate="5" 5为速度 ......
记一次python写爬虫爬取学校官网的文章
有一位老师想要把官网上有关数字化的文章全部下载下来，于是找到我，使用python来达到目的 首先先查看了文章的网址 获取了网页的源代码发现一个问题，源代码里面没有url，这里的话就需要用到抓包了，因为很明显这里显示的内容是进行了一个请求，所以只能通过抓包先拿到请求的url从而获得每一篇文章对应的ur ......
建立私人知识网站 cpolar轻松做到2 （发布DokuWiki）
在上篇文章中，我们向大家展示了如何在本地电脑上部署一个DokuWiki网站，并在本地电脑成功访问到这个网站。不过只在本地电脑和本地局域网内访问dokuwiki网站并不是我们的目标。因此我们还需要使用cpolar建立一条内网穿透数据隧道，将本地的dokuwiki网站发布到公共互联网。现在，就让我们开始 ......
Python认识爬虫与反爬虫
爬虫：通过计算机去获取信息，以节约人力成本，不节约的就不需要用了。 反爬虫的最终：区别计算机和人，从而达到，排除计算机的访问，允许人的访问。 最终结论：爬虫与反爬虫都是有尽头的。 爬虫的尽头就是极度模拟用户（自动化）。 反爬虫的尽头就是机器无法识别而人类可以识别的验证码。 所以，省事的话，不如只学一 ......
一种通过编码的反爬虫机制
遇到一个反爬虫机制，该网页为gbk编码网页，但是请求参数中，部分请求使用gbk编码，部分请求使用utf8编码，还设置了一些不进行编码的安全字符，在爬取的过程中形成了阻碍。 提示：在认为参数设置正常，又无法正确爬取数据的情况下，通过response.requests.headers和esponse.r ......
网站或https证书在线检测 - 收藏篇
1. ssllabs.com 支持在线检测网站支持的 ssl ； 传送门：https://www.ssllabs.com/ 2. 亚数信息 - SSL/TLS 安全评估报告 传送门：https://myssl.com/ ......
selenium爬取异步加载的网站
为了便利化使用selenium驱动浏览器进行操作，遇到一个网页，大部分内容都是通过xhr请求后再通过前端js处理显示，带来的一个问题就是，采用显示等待无法准确的定位到需要的节点。因此，需要考虑采用判断xhr请求是否完成后再进行定位，或者直接获取xhr请求返回内容的做法。 对于selenium爬虫来说 ......
requests代理设置
和 urllib 一样，多的介绍就不说了，直接上代码： import requests proxies = { "http": "http://user:pass@10.10.10.1:80", "https": "http://10.10.1.10:1080", } requests.get("h ......