爬虫pixel2 pixel root
Linux su命令：su命令语法、su root与su - root区别、su与sudo区别、su -c 参数的使用理解
https://www.cnblogs.com/goloving/p/15150206.html Linux su（英文全拼：switch user）命令用于变更为其他使用者的身份，除 root 外，需要键入该使用者的密码。使用权限：所有使用者。 一、语法 su [-fmp] [-c command ......
Python爬虫爬取B站评论区
写了两天，参考其他大牛的文章，摸着石头过河，终于写出了一个可以爬B站评论区的爬虫，人裂了…… 致谢 : 致谢： [SmartCrane](https://www.cnblogs.com/smartcrane/p/13172825.html) [马哥python说](https://zhuanlan. ......
scrapy源码分析：redis分布式爬虫队列中，priority值越大，优先级越高
# scrapy源码分析：redis分布式爬虫队列中，priority值越大，优先级越高 # 一、背景 scrapy爬虫项目中，遇到scrapy的priority属性，搞不懂priority的值越大优先级越高，还是值越小优先级越高 ```python # 通过priority修改优先级 return ......
Python爬虫入门
# 前言 ## 网页构成 首先介绍一个网页的基本构成：HTML负责网页的结构，CSS负责样式的美化，Javascript负责交互逻辑。 >* HTML >* CSS >* Javascript 点击 F12打开开发者工具（部分电脑可能为Fn + F12）,使用元素选择工具，再将鼠标指针移动到任意网页 ......
Python-12-Python 虚拟环境与爬虫
12-1 虚拟环境的搭建 1. 为什么要搭建虚拟环境项目A需要在python2下运行，项目B需要在python3下面运行。项目A和B使用同一个包，但是项目A需要使用该包1.0版本，项目B需要使用2.0版本。那么创建虚拟环境可以解决包管理问题。 2. 搭建虚拟环境pip install pipenv ......
爬虫学习（一）——requests库
一、安装 cmd-->pip install requests 安装测试 >>> import requests >>> r = requests.get("http://www.baidu.com") >>> r.status_code 200 >>> r.text 二、Requests库的get ......
爬虫学习（一）
# 爬虫学习（一） ### 简单爬虫 我们需要学习urllib库，在这个库中存在着许多辅助我们进行爬虫的工具，该包中有着模块： - request：最基本的HTTP请求模块，可以用来模拟发送请求。 - error：异常处理抹开，如果出现请求错误，可以捕捉异常，然后进行充实或其他操作。 - parse ......
爬虫 | 蓝桥社区热搜点赞器
本实验首先为大家介绍了爬虫必备的知识 cookie，掌握 cookie 的使用场景之后，再结合爬虫思想实现了两款实用工具，自动点赞器与自动签到器，为大家扩展了爬虫编写工具的新思路。本节实验的最后会向大家简单介绍爬虫未来的学习方向。 #### 知识点 - cookie 与爬虫 - 实验楼社区点赞器 - ......
某行动态cookie反爬虫分析
# 某行动态cookie反爬虫分析 ### 1. 预览 - 反爬网址(`base64`): `aHR0cDovL3d3dy5wYmMuZ292LmNu` - 反爬截图： - 需要先加载运行`js`代码，可能是对环境进行检测，反调试之类的  # 爬虫的核心流程 1. 明确目标 - 汽 ......
python数据分析师入门-学习笔记（第八节 python爬虫的准备工作）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # python爬虫的准备工作 1. 一台 ......
Linux磁盘引导，备份修复MBR扇区，备份修复GEUB扇区，修改root密码
一、Linux磁盘引导 Linux启动过程 1.1开机自检 服务器主机开机以后，将根据主板 BIOSQ 中的设置对 CPU (Central Processing Unit，中央处理器)、内存、显卡、键盘等设备进行初步检测，检测成功后根据预设的启动顺序移交系统控制权人多时候会移交给本机硬盘 1.2. ......
python数据分析师入门-学习笔记（第七节 爬虫如何搞钱）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫如何搞钱 1. 入职企业，找一份爬 ......
python数据分析师入门-学习笔记（第六节 爬虫合法吗）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫合法吗 ## 机器人协议 - ro ......
python数据分析师入门-学习笔记（第五节 爬虫分类）
### 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫分类 ### 1. 聚焦爬虫 - ......
python数据分析师入门-学习笔记（第四节 爬虫的应用场景）
### 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 实际应用 企业中： 竞品调研数据采集 ......
爬虫 | 微博热搜采集发送器
本实验将实现一款爬虫工具，微博热搜采集发送器，通过 requests 库加 bs4 库完成对热搜的爬取，之后通过 smtplib 库与 email 库实现邮件信息的传递。最后还为大家介绍了一个爬虫技巧，pandas 一行代码抓取表格数据。 #### 知识点 - 微博热搜爬取 - Python 邮件发 ......
爬虫数据保存到csv中
import json import os.path import time from jsonpath import * # import jsonpath as jsonpath import pandas as pd import requests # url = "http://www.wh ......
手机免root安装最新青龙面板（非Alpine term | Zero term软件）
##### 使用软件：Termux ##### 可以用于任何支持qemu虚拟机的环境、APP ##### 制作了基本的系统环境、开发环境和青龙面板环境、多个虚拟机，按需求下载 ##### 官方网站：[https://api.wer.plus](https://api.wer.plus "https: ......
群晖NAS教程：winscp使用root账号登录群晖NAS
winscp有什么用呢？对于群晖NAS来说，这东西用处还是很大的，特别是对一些代码大神，winscp和putty这俩东西是标配。putty可以登陆群晖系统，执行代码，有时安装一些套件就会用到。而winscp是Windows环境下使用SSH的开源图形化SFTP客户端，可以很方便地管理群晖里面的文件。啥 ......
【模板】数论基础：exGCD,exCRT,inverse,Lucas,BSGS,primitive root
# 7.29 数论 WIP $a\equiv b\pmod p\Rightarrow \frac{a}{d}\equiv \frac{b}{d}\pmod{\frac{p}{d}},d=\gcd(a,b,p)$。 ## exGCD 1. 若 $(a,b)=1$，则 $0\leq xb\to a\bm ......
爬虫 | 白菜价商品数据抓取
本实验介绍了一个全新的爬虫思路，**通过移动端 Web 站点爬取数据**，方法是借助谷歌浏览器的开发者工具，模拟出移动设备进行网站访问，然后去获取移动端网站的数据接口。后半部分通过爬取 4399 排行榜与什么值得买白菜商品两个案例，强化对于移动端 Web 站点爬取技术的学习。 #### 知识点 - ......
写一段python爬虫下载商品图片的代码
以下是一个简单的Python爬虫代码示例，用于下载商品图片： ```python import requests import os from bs4 import BeautifulSoup def download_image(url, save_path): response = reques ......
写一段python爬虫下载登录用户商品图片的代码
要下载登录用户的商品图片，你需要模拟登录网站并获取登录后的会话。下面是一个示例代码，用于登录网站并下载登录用户的商品图片： ```python import requests import os from bs4 import BeautifulSoup def login(username, pa ......
爬虫 | 美食数据抓取
本实验将为大家介绍接口爬取的相关知识，通过实验楼课程列表页与 IT 之家动态页，讲解如何通过开发者工具快速判断数据来源。实验过程将通过爬取美食网、实验楼社区两个案例，说明如何针对接口编写爬虫。 #### 知识点 - 接口（API） 爬取知识 - 美食案例实操 - 实验楼社区案例实操 ### 接口（A ......
【Python自动化】多线程BFS站点结构爬虫代码，支持中断恢复，带注释
```py from collections import deque from urllib.parse import urljoin, urlparse import requests from pyquery import PyQuery as pq import re from EpubCr ......
linux找回root密码
## 本文说明 目的：如何找回root密码 ## 步骤 1. 启动系统，在开机界面中按e进入编辑界面（需要移动光标到第二项） ![](https://img2023.cnblogs.com/blog/2454288/202307/2454288-20230727212240562-11504475. ......