爬虫pixel2 pixel root
爬虫常用方法
1. selenium转beautifulsoup: pageSource = driver.page_source soup = BeautifulSoup(pageSource,'html.parser') 2. bs4 查找页面内容： resultPages = soup.find(text= ......
mysql如何修改root密码
要修改 MySQL 的 root 用户密码，可以按照以下步骤进行操作： 使用 root 用户登录 MySQL： mysql -u root -p 输入当前 root 用户的密码，进入 MySQL 命令行界面。 执行以下 SQL 语句来修改密码： ALTER USER 'root'@'localhos ......
记一次excel vba 爬虫实战
基于办公与互联网隔离，自带的office软件没有带本地帮助工具，因此在写vba程序时比较不方便(后来发现07有自带，心中吐血，瞎折腾些什么）。所以想到通过爬虫在官方摘录下来作为参考。 所使工具: python3.7,requests、selenium库 前端方面：使用了jquery、jstree 设 ......
Day 25 25.1 Scrapy框架之全站爬虫(CrawlSpider)
Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中，spider 如果要重新发送请求的话，就需要自己解析页面，然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
记录常用的爬虫代码段（长期更新）
判断文件路径不存在创建文件路径 if not osp.exists(path): os.makedirs(path) 去除字符串非法字符，防止创建文件夹报错 #去掉非法字符 pitow = re.sub('[\/:*?"<>|]','-',name) ......
pathon爬虫实战——爬取某网站的多页番剧内容
（本博客只为技术分学习，无其他用途） 1.准备 涉及的第三方库如下： 2.网页分析 2.1 检验网页 1. 运行浏览器，打开网页，按快捷键F12打开开发者工具，F5刷新页面 2. 在右侧点击Network，打开browser?sort=rank&page=1 文件，可以看到各种信息，查看表头 3. ......
debian 11 配置 用户为 root权限用
记 su vi /etc/sudoers 默认权限是只读的 # 等下要改回去 chmod 777 /etc/sudoers 把root 那一行复制 保存后 # 等下要改回去 chmod 440 /etc/sudoers ......
XAPMM上更改了root密码，怎么更新phpMyAdmin的配置文件
要更新phpMyAdmin的配置文件以反映在XAPMM上更改的root密码，请按照以下步骤操作： 1.打开phpMyAdmin的配置文件：在XAPMM中，phpMyAdmin的配置文件通常位于 D:\xampp\phpMyAdmin 2.在配置文件中，找到以下行： $cfg['Servers'][$ ......
记一次python写爬虫爬取学校官网的文章
有一位老师想要把官网上有关数字化的文章全部下载下来，于是找到我，使用python来达到目的 首先先查看了文章的网址 获取了网页的源代码发现一个问题，源代码里面没有url，这里的话就需要用到抓包了，因为很明显这里显示的内容是进行了一个请求，所以只能通过抓包先拿到请求的url从而获得每一篇文章对应的ur ......
Linux-root-用户认识
1、认知用户 无论是Windows、MacOS、Linux均采用多用户的管理模式进行权限管理。 •在Linux系统中，拥有最大权限的账户名为：root（超级管理员） •而在前期，我们一直使用的账户是普通的用户：forever root用户 超级管理员 root用户拥有最大的系统操作权限，而普通用户在 ......
Python认识爬虫与反爬虫
爬虫：通过计算机去获取信息，以节约人力成本，不节约的就不需要用了。 反爬虫的最终：区别计算机和人，从而达到，排除计算机的访问，允许人的访问。 最终结论：爬虫与反爬虫都是有尽头的。 爬虫的尽头就是极度模拟用户（自动化）。 反爬虫的尽头就是机器无法识别而人类可以识别的验证码。 所以，省事的话，不如只学一 ......
一种通过编码的反爬虫机制
遇到一个反爬虫机制，该网页为gbk编码网页，但是请求参数中，部分请求使用gbk编码，部分请求使用utf8编码，还设置了一些不进行编码的安全字符，在爬取的过程中形成了阻碍。 提示：在认为参数设置正常，又无法正确爬取数据的情况下，通过response.requests.headers和esponse.r ......
常用API(爬虫，正则表达式)
常用API（爬虫，正则表达式） 爬虫 本地爬虫：Pattern：表示正则表达式； Matches：文本匹配器，作用按照正则表达式的规则读取字符串，从头开始读取，在大串中去找符合匹配规则的子串； find：1.拿着文本匹配器从头开始读取，寻找是否有满足规则的子串；如果没有，方法返回fals ......
python爬虫scrapy框架的使用
总结 scrapy startproject name scrapy genspider baidu http://www.baidu.com scrapy crawl baidu scrapy项目创建 scrapy startproject scrapy_baidu_091 创建爬虫文件 在spi ......
Access denied for user ‘root’@‘localhost’ (using password: YES)
今天跟着尚硅谷的springboot2视频学习，在连接mysql数据库时出现问题，报错如标题： Access denied for user ‘root’@‘localhost’ (using password: YES)， 寻找到的解决办法如下： 加单引号 ......
爬取的数据存mysql中、加代理，cookie，header，加入selenium、布隆过滤器、scrapy-redis实现分布式爬虫
上节回顾 # 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 - ......
爬虫介绍、request模块、自动登录、携带cookie的两种方式、requests.session的使用、响应Response对象
今日内容 爬虫介绍 request模块介绍 request发送get请求 request携带参数 url编码解码 携带请求头 发送post请求，携带数据 自动登录，携带cookie的两种方式 requests.session的使用 补充post请求携带数据编码格式 响应Response对象 编码问题 ......
关于Python爬虫使用技巧
首先，Python是一种非常流行的编程语言，拥有广泛的应用领域，例如数据分析、人工智能、Web开发等。如果您是初学者，可以开始学习基础的语法和概念，例如变量、数据类型、循环、函数等等。许多在线资源可以提供学习资料。 其次，Python拥有大量的第三方库和框架，可以帮助您提高开发效率并处理各种任务，例 ......
解决docker compose mysql8.0.27控制台root用户密码错误的问题
提示docker ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 解决方法：清除映射到宿主机的除my.cnf以外所有volume后输入docker compose down -> ......
APP爬虫初阶之Pixel2刷机root
pixel2刷机 刷机准备 lineage zip twrp img magisk zip（github上下的是APK，需要把后缀改为zip） 刷机步骤 首先需要一个底包，这里我用的出厂自带的google官方系统，没有重新刷入 手机上打开usb调试，关闭屏幕超时锁屏，打开OEM锁 手机完全关机，按住 ......
自学Python爬虫笔记（day7）
环境python3.9版本及以上，开发工具pycharm requests的进阶使用： 案例一 模拟用户登录-处理cookie： # 登录 -> 得到cookie # 带着cookie 去请求到暑假url -> 书架上的内容 # 必须把上面两个操作连起来 # 我们可以使用session进行请求 -> ......
自学Python爬虫笔记（day6）
环境python3.9版本及以上，开发工具pycharm XPath解析： XPath是一门在XML文档中查找信息的语言，XPath可以用来在XML文档中对元素和属性进行遍历，而我们熟知的HTML恰巧属于XML中的一个子集，所以完全可以用XPath去查找html中的内容。 首先看： <book> < ......
Access denied for user 'root'@'x.x.x.x' (using password: YES)请求的ip跟报错显示的ip不同(乌龙解决)
这里请求的实际上报这一条错误是说明已经请求到了目标服务器的，mysql中以‘root’@‘x.x.x.x’这种格式表示的ip其实是我们当前的ip而非目标ip， 这里报错是因为我密码输错了，所以报了错 ......
半小时实现Java网络爬虫框架
最近在做一个搜索相关的项目，需要爬取网络上的一些链接存储到索引库中，虽然有很多开源的强大的爬虫框架，但本着学习的态度，自己写了一个简单的网络爬虫，以便了解其中的原理。今天，就为小伙伴们分享下这个简单的爬虫程序！！ 首先介绍每个类的功能： DownloadPage.java的功能是下载此超链接的页面源 ......
反爬虫之有个操作也许可以检测aiohttp、httpx，requests也尴尬？
然后hyper库的开发者，如下链接回复：
https://github.com/python-hyper/h11/issues/113
大概意思是这个不是一个问题，而是http请求的严格性判断问题，请求头的协议，按国际标准，是不能出现 “[Cache-Control]” 这种带有特殊符号作为响应头的... ......
通俗易懂的分布式爬虫部署
之前一直都是在学习一些爬虫的相关知识，为了能都更熟练技巧，让自己敲代码更得心应手，并将自己的部署爬虫的一些心得写出来，希望对大家有帮助。 服务器端 1、下载redis ，Redis Desktop Managerredis。 2、修改配置文件（找到redis下的redis.windows.conf ......
Spider爬虫
爬虫Spider 该爬虫分为两部分，分别为Spider.py和model.py Spider.py 该文件主要业务逻辑是调用Selenium来通过自动化测试的方法实现模拟人的行为来对网页进行请求，并将请求到的HTML提取为文本，为后续的数据抽取做铺地。需要的第三方工具包Selenium，scrapy ......
博科交换机通过root用户更改admin密码
博科交换机一共4个用户1、默认用户 admin: 默认密码为password （可以执行所有的命令并查看交换机状态和修改交换机的配置）2、root : 默认密码为 fibranne 最高权限的管理帐号是重置交换机密码就是用这个帐号。可以登录到系统内核，进行底层的调试3、factory: 默认密码为f ......
【0基础学爬虫】爬虫基础之数据存储
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为数据存储。 概述 上期我们介绍到了文件存储，讲到了如何将数据存 ......