Spider
H5前端特殊艺术字体文件太大，可通过font-spider压缩
原理: 1.爬行本地 html 文档，分析所有 css 语句 2.记录@font-face语句声明的字体，并且记录使用该字体的 css 选择器 3.通过 css 选择器的规则查找当前 html 文档的节点，记录节点上的文本 4.找到字体文件并删除没被使用的字符 5.编码成跨平台使用的字体格式 简而言 ......
P9447 [ICPC2021 WF] Spider Walk 题解
更好的阅读体验 很有意思的一道题。 设 \(f_i\) 表示第 \(i\) 根线的答案，首先有一个关键结论：任意两根相邻的线答案只差一定小于 \(1\)。原因显然，可以在无限远的地方加一根线来构造。该结论可以扩展一下，对于距离为 \(d\) 的两根线，答案之差不会超过 \(d\)。 考虑进行倒着加线 ......
Python:重装Python后，在pycharm运行报错——Cannot run program "C:\Users\*****\Python36\python.exe" (in directory "E:\www\python_tony\spider"): CreateProcess error=2, 系统找不到指定的文件。
电脑重装Python后，重新打开Pycharm执行python，发现报错：Cannot run program "C:\Users\***\Python36\python.exe" (in directory "E:\www\python_tony\spider"): CreateProcess e ......
Spider-入门
又是HTTP F12大法 Network面板 列名 看法 name 看样子是截取了主域名后的一部分 status 状态码（200，500.......） type 文档类型 为啥HTML非得搞个document initiator 请求源 看不懂 size 大小，如果有cache的话，会有标识 ti ......
Python 技术 -- Python Spider 初学
> 本部分是为 Python Spider 的简单描述，适合于复习和思路回溯 -- CF.FC # Python Spider 知识简谱 > 简约、简洁、简单 -- 尘风风尘 ## 一、网络爬虫入门 > 人不是机器，学习的时候不要死记硬背，应该用脑子去解决大多数问题 -- CF.FC ### 1.1 ......
Python 技术 -- Python Spider 深入
> 本部分是为 Python Spider 知识简谱的完整描述，若看不懂知识简谱可参阅此部分！-- CF.FC # Python Spider 完整知识 > 真理之海十分广阔，只有不断地学习并掌握知识，才有可能有朝一日窥见其神秘真面目 -- CF.FC ## 一、 # Python Spider 扩 ......
python-spider-001
先抓取获取接口 对比后发现分析关键点为safe参数 XHR断点 分析堆栈找到加密位置 对关键位置打断点获取key 算法还原 ......
Spider爬虫
爬虫Spider 该爬虫分为两部分，分别为Spider.py和model.py Spider.py 该文件主要业务逻辑是调用Selenium来通过自动化测试的方法实现模拟人的行为来对网页进行请求，并将请求到的HTML提取为文本，为后续的数据抽取做铺地。需要的第三方工具包Selenium，scrapy ......
scrapy爬虫框架（五）Spider Middleware
Spider Middleware，中文可以翻译为爬虫中间件，但我个人认为英文的叫法更为合适。它是处于Spider 和 Engine 之间的处理模块。当 Downloader 生成 Response 之后，Response 会被发送给 Spider,在发送给 Spider 之前，Response 会 ......
scrapy爬虫框架（三）Spider的使用
在前面已经简单介绍了spider的基础用法，那么今天我们来详细了解一下Spider的具体用法。 一、Spider的运行流程 spider是scrapy框架中最核心的组件，其定义了爬取网站的逻辑和解析方式，而spider主要做两件事情： 定义爬取网站的动作。 分析爬取下来的网页。 那么他的运行流程主要 ......