爬虫pixel2 pixel root
Scrapyd、scrapyd-client部署爬虫项目
命令参考：[https://github.com/scrapy/scrapyd-client](https://github.com/scrapy/scrapyd-client) [https://scrapyd.readthedocs.io](https://scrapyd.readthedocs ......
Scrapy如何在启动时向爬虫传递参数
**高级方法：** **一般方法：** 运行爬虫时使用-a传递参数 ```Bash scrapy crawl 爬虫名 -a key=values ``` 然后在爬虫类的__init__魔法方法中获取kwargs ```Python class Bang123Spider(RedisCrawlSpid ......
Scrapy-CrawlSpider爬虫类使用案例
CrawlSpider类型的爬虫会根据指定的rules规则自动找到url比自动爬取。 优点：适合整站爬取，自动翻页爬取 缺点：比较难以通过meta传参，只适合一个页面就能拿完数据的。 ```Python import scrapy from scrapy.http import HtmlRespon ......
Scrapy如何在爬虫类中导入settings配置
假设我们在settings.py定义了一个IP地址池 ```Bash ##### 自定义设置 IP_PROXY_POOL = ( "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", ) ``` 要在爬虫文件中 ......
Scrapy-redis组件，实现分布式爬虫
安装包 ```Python pip install -U scrapy-redis ``` settings.py ```Python ##### Scrapy-Redis ##### ### Scrapy指定Redis 配置 ### # 其他默认配置在scrapy_redis.default.py ......
Scrapy爬虫文件代码基本认识和细节解释
```Python import scrapy from scrapy.http.request import Request from scrapy.http.response.html import HtmlResponse from scrapy_demo.items import Forum ......
Scrapy创建项目、爬虫文件
# 创建项目 **执行命令** ```Bash scrapy startproject ``` # **项目结构** `访问网页时，输出为``。是什么原因呢？ 如下运行代码： ```python # 导入访问网页要用的库 import requests # 申明一个变量存储网址 # 网址是一个字符串变量，注意网址前后都必须有引号 url = 'https://movie. ......
python爬虫抓取小说
我这里是使用的**requests**模块和**re**(正则)模块 可以模仿浏览器正常访问网页返回网页源码的方式，通过正则获取到小说的名字，以及每个章节名称和对应的网页链接，并将小说正文截取出来，写入到文本中，具体代码实现如下： ``` # 导入requests模块 import requests ......
mysql root权限恢复
1.首先停止MySQL服务：service mysqld stop2.加参数启动mysql：/usr/bin/mysqld_safe --skip-grant-tables & 然后就可以无任何限制的访问mysql了3.root用户登陆系统：mysql -u root -p mysq ......
「爬虫04」selenium
## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_ ......
Python爬虫突破验证码技巧 - 2Captcha
在互联网世界中，验证码作为一种防止机器人访问的工具，是爬虫最常遇到的阻碍。验证码的类型众多，从简单的数字、字母验证码，到复杂的图像识别验证码，再到更为高级的交互式验证码，每一种都有其独特的识别方法和应对策略。在这篇文章中，我们将一一介绍各种验证码的工作原理和使用[2Captcha](https://... ......
winscp的root连接ubuntu“拒绝访问”
问题 解决： 1、修改ssh配置文件：vim etc/ssh/sshd_config 在#PermitRootLogin without-password 此行下新增一行： PermitRootLogin yes 使用MobaXterm直接修改文件 与 vi命令修改文件 第一种：使用MobaXter ......
【爬虫案例】用Python爬取知乎热榜数据！
[toc] # 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是：[知乎热榜](https://www.zhihu.com/hot) : 2 first_num = random.randint(99, 103) 3 third_num = random.randint(0, 5060) 4 fourth_num = random.randint(0, 140) 5 os_type = ['(W ......
小米手机使用Magisk进行root
# 一、手机绑定小米账号 在手机`设置`-`更多设置`-`开发者选项`-`设备解锁状态`-`绑定账号和设备`中进行绑定账号和设备。 绑定完成`7天`后可以进行解锁操作。 # 二、解锁手机BL锁 ## 2.1 下载解锁工具 从小米官网[申请解锁小米手机](https://www.miui.com/un ......
「爬虫03」bs4&selenium
## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的[xml包含html,html是xml的一种] html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 G ......
深入了解爬虫原理
HTTP/1.1方法 HTTP1.0中，只有GET和POST，没有其他方法，如果是新网站是可以获取内容 head命令只能返回头部部分，类似于Ping测试网址是否连通 put只能上传最新的内容,patch局部修改 主要是get和Post HTTPS多实现一层S，五层中，最上面是应用层，然后是多出来的安 ......
解决root用户对HDFS文件系统没有权限的问题
## 解决root用户对HDFS文件系统没有权限的问题 #### ==说明：==HDFS文件系统的目录基本都属于 supergroup 超级用户组，所以就把用户添加到该用户组，即可解决很多权限问题。 第一步： > 在Linux执行如下命令增加 supergroup 用户组 > > groupadd ......
【经典爬虫案例】用Python爬取微博热搜榜！
[toc] # 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是: [微博热搜榜](https://s.weibo.com/top/summary?cate=realtimeho ......
分布式爬虫
要实现分布式爬虫，您需要将爬取任务分配给多个爬虫节点，并协调它们的工作。在Python中，您可以使用分布式任务队列和消息传递机制来实现这一目标。 以下是一个简单的示例，展示了如何使用Python中的Celery库来实现分布式爬虫： 1. 安装Celery库：请运行以下命令来安装Celery库。 `` ......
爬虫—图形验证码获取
# 获取验证码图片步骤 **1. 使用selenium操作谷歌浏览器，打开目标网站** **2. 对目标网站进行截图，并将图片保存到本地** **3. 获取验证码元素节点在屏幕上的位置，即横纵坐标** **4. 使用Image库读取保存的截图** **5. 使用pillow模块抠出大图中的验证码 只 ......
【爬虫案例】用Python爬取百度热搜榜数据！
# 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是：[百度热搜榜](https://top.baidu.com/board?tab=realtime) 方法转换成字典 -转成字 ......
Linux 根目录爆满 解决(/dev/mapper/centos-root 100%问题)
0.查看磁盘分区情况 blkid -o list fdisk -l cfdisk lsblk 1.查看分区 df -h 2.备份home分区文件 tar cvf /tmp/home.tar/home 3.卸载/home，如果无法卸载，先终止使用/home文件系统的进程 fuser -km /home ......
爬虫使用
### 爬取新闻 ```python import re import requests from bs4 import BeautifulSoup import pymysql # 建立数据库链接 conn = pymysql.connect( user='root', password="123 ......
一加获取root权限
# 解锁bootloader > 注意：解锁bootloader时，会清空手机数据 1. 启用开发者选项 2. 启用“OEM解锁”选项 3. 启用USB调试 4. 在您的PC上安装SDK Platform-Tools中的adb和fastboot，[点击跳转SDK Platform-Tools下载页] ......