爬虫pixel2 pixel root
【爬虫】进一步提取图片url，下载图片
import requests from lxml import etree url="https://pic.netbian.com/4kdongman/" domain="https://pic.netbian.com/" data=requests.get(url) #print(data.t ......
今日头条我的收藏爬虫
背景： 今日头题我的收藏搜索功能很弱，收藏的文章在pc/手机上总是如法全部搜索出来。也给头条反馈了很多次，总是不搭理。实在忍受不了这种敷衍，决定自己写一个爬虫。 思路： 先解决有无问题，做一个最基础版本。 、 头条我的收藏是是get请求，返回的是json格式数据，直接使用requests发送请求到头 ......
Python中的爬虫应用及常用Python库
Python的爬虫应用非常广泛，以下是一些典型的示例： 数据采集：使用爬虫可以从网页上抓取数据，并将其保存到本地或数据库中。这对于构建大规模数据集、进行市场调研、舆情监测等任务非常有用。 搜索引擎索引：搜索引擎需要通过网络爬虫来收集和更新互联网上的信息，以便为用户提供准确且实时的搜索结果。 价格比较 ......
chromedriver 爬虫组件更新，114版本以上
1.解决问题 由于Google浏览器chrome自动更新导致python爬虫脚本无法启动，且浏览器版本大于114。 2.报错如下 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: ......
宝塔：腾讯云轻量服务器root输入命令bt显示Permission denied的解决方法
因为许久没有登陆宝塔，今日登陆发现密码错了，于是进入腾讯云后台，root进入VNC修改密码，不想却提示Permission denied： 后进行人工客服请求，才发现是少输入命令所致， 根据客服提示，重新输入su后，再输入bt即成功进入宝塔相关项目选择列表： 注意：可能跟阿里云或别的云服务器略有区别 ......
记一次爬虫实战
记一次爬虫实战 记一次爬虫实战，以爬取我最近在看的小说《不可名状的日记簿》为例。 先找到一个合适的网站https://www.qbtxt.co/93_93964/。 用的是https协议，socket什么的太麻烦了，直接用python的requests库。 写一个封装好的python程序，作用是爬取 ......
猫眼电影爬虫
步骤首先利用pip指令安装所需要的soup以及request库（pip下载速度慢可使用pip镜像，更改下载路径到国内网站）然后对猫眼电影网站进行分析，利用request进行信息的获取，利用soup库进行信息查找和整理。最后进行输出，写入txt文件中代码的实现如下import requestsfrom ......
爬虫-Scrapy框架(一)-工具
Scrapy框架 一、前言 1、介绍 前面我们学习了基础的爬虫实现方法和selenium以及数据库，那么接下来会我们学习一个上场率非常高的爬虫框架：scrapy 2、内容 scrapy的基础概念和工作流程 scrapy入门使用 二、scrapy的概念和流程 学习目标： 了解 scrapy的概念 掌握 ......
Ubuntu——初始化服务器切换到root用户
前言 最近切换了工作本从windows切换到了mac，搭建虚拟机的时候发现centos的镜像直接使用会存在问题，只好使用ubuntu，之前还是上学的时候偶尔使用下； 内容 重置密码然后切换用户 # sudo passwd root # su root ......
scrapy解析数据、配置文件、整站爬取cnblogs=》爬取详情=》数据传递、持久化、爬虫中间件和下载中间件、scrapy继承selenium、源码去重规则（布隆过滤器）、分布式爬虫
scrapy解析数据 ##### 运行爬虫 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) # ......
srsLTE出现Couldn't open , trying /root/.config/srsran/epc.conf
输入命令 $ sudo ./srsepc/src/srsepc 出现错误无法打开epc配置文件 Software Radio Systems EPC Couldn't open , trying /root/.config/srsran/epc.confCouldn't open /root/.co ......
爬虫七
持久化 把数据保存到磁盘上：文件，mysql 管道 使用步骤： 1、写个类：items.py,里面写字段 class CnblogItem(scrapy.Item): name = scrapy.Field() author = scrapy.Field() url = scrapy.Field() ......
爬虫中间件和下载中间件，scrapy集成selenium，源码去重规则（布隆过滤器），分布式爬虫
1 爬虫中间件和下载中间件 ⏳ 1.1 爬虫中间件(一般不用) # 第一步：写个爬虫中间件类 class ScrapyDemoSpiderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by ......
python爬虫实战-小说爬取
python爬虫实战-小说爬取 基于requests模块与lxml模块编写的爬虫，目标小说网站为 https://www.hongxiu.com/category/ 基本思路 主要内容分为三个部分 使用requests模块获取网页内容 使用lxml模块进行网页解析 将解析出来的数据存储进MySQL数 ......
爬虫-python面对对象-工具
一、面向对象基础 1、面向对象思想简介 软件编程就是将我们的思维转变成计算机能够识别语言的一个过程 什么是面向过程？ 自上而下顺序执行，逐步求精 其程序结构是按功能划分为若干个基本模块，这些模块形成一个树状结构； 各模块之间的关系尽可能简单，在功能上相对独立 每一模块内部均是由顺序、选择和循环三种基 ......
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计 Go高并发微服务分布式 1.命令行的用户管理 用户信息存储 => 内存 => 结构 [] map => 用户 ID name age tel addr [len] [] map 值类型使用string 用户添加 用户的查询 用户修改 // 请输 ......
免root修改手机imei的技术原理是什么？如何实现的？hook吗
在过去，修改手机IMEI（International Mobile Equipment Identity）通常需要Root权限，这给用户带来了一些不便，也存在一定的安全风险。然而，近年来，一些技术爱好者提出了一种免Root修改手机IMEI的方法，通过技术手段实现这一功能，而无需获取系统的超级用户权限 ......
分享一个神器，可以永远告别chromedriver和chrome浏览器版本不匹配、爬虫无法运行的问题
一、下载地址：介绍地址：https://pypi.org/project/chromedriver-py/ 下载安装：pip install chromedriver-py 二、介绍 chromedriver-py 是一个Python包，提供了一个简单的接口，用于在Python项目中下载和使用Goo ......
[无需Root]用Python操作安卓手机|自动打卡|智能刷抖音
哪个男孩不想用Python来控制手机呢？简简单单，只需要把手机连接上数据线（甚至可以不用），运行程序，手机就开始自动完成你想要做的工作。比方说，每日打卡，智能刷抖音等等。 为什么要用Python控制手机？ 使用Python控制手机，能够帮助我们完成一些机械化的任务，比如每日打卡，定时回复等等，另一方 ......
面具magisk原理是什么，为什么呢隐藏ROOT
Magisk 是一个非常强大的 Android 框架，它允许用户获得超级用户权限（即 root）而不修改系统分区，从而实现了系统无修改（Systemless）的 root。这意味着它可以在不影响设备正常接收 OTA 更新的情况下进行 root，同时还可以使用一些通常会因检测到 root 权限而无法运 ......
Rcpp安装时报错“error: ‘::timespec_get’ has not been declared” with conda root package
安装Rcpp时报错“error: ‘::timespec_get’ has not been declared” with conda root package 解决方法： In my case, I run conda upgrade -c conda-forge --all to have ac ......
非root 用户安装perl模块
001、perl 配置RepeatModeler 警告缺少 perl模块如下： (base) [b20223040323@admin1 RepeatModeler-2.0.2a]$ perl configure The following perl modules required by Repea ......
爬虫六
scrapy解析数据 运行爬虫 scrapy crawl cnblogs 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) 重点 1、response ......
【教你写爬虫】用Java爬虫爬取百度搜索结果！可爬10w+条！
一、爬取目标 大家好，我是盆子。今天这篇文章来讲解一下：使用Java爬虫爬取百度搜索结果。 首先，展示爬取的数据，如下图。 爬取结果1: 爬取结果2: 代码爬取展示: 可以看到，上面爬取了五个字段，包括 标题，原文链接地址，链接来源，简介信息，发布时间。 二、爬取分析 用到的技术栈，主要有这些 Pu ......
Linux中不允许root用户直接ssh远程登录
当我们在ubuntu中登录ssh的时候，会出现如下问题： 是因为系统默认禁止root用户登录ssh，此时我们可以这样解决： 1、首先，按Ctrl+C退出密码输入界面 2、然后输入：su -（一定是su -，不是su） 3、编辑sshd_config文件，我们输入：vi /etc/ssh/sshd_c ......
mysql 8.0数据库忘记root密码
最底部有遇到的问题及解决方案，欢迎补充 Windows系统mysql 8.0忘记root密码，修改步骤 第一步： 使用管理员权限打开命令提示符，在命令行输入 net stop mysql，或者直接打开服务，停止mysql服务 第二步： 服务停止后，在命令行中输入mysqld --console -- ......
爬虫常用写法和用法
1、查找所有：结果 = re.findall(正则, 字符串) => 返回列表，用法：r""专业写正则的。 没有转义的烦恼，result = re.findall(r"\d+", "我有1000万，不给你花，我有1块我给你") 2、结果 = re.finditer(正则, 字符串) => 返回迭代器 ......
Python爬虫：实现爬取、下载网站数据的几种方法
使用脚本进行下载的需求很常见，可以是常规文件、web页面、Amazon S3和其他资源。Python 提供了很多模块从 web 下载文件。下面介绍 一、使用 requests requests 模块是模仿网页请求的形式从一个URL下载文件 示例代码： import requests url = 'x ......