爬虫pytesseract requests selenium
python爬虫之scrapy框架介绍
一、Scrapy框架简介Scrapy 是一个开源的 Python 库和框架，用于从网站上提取数据。它为自从网站爬取数据而设计，也可以用于数据挖掘和信息处理。Scrapy 可以从互联网上自动爬取数据，并将其存储在本地或在 Internet 上进行处理。Scrapy 的目标是提供更简单、更快速、更强大的 ......
selenium 无法定位元素的一种情形 - iframe
今天在爬取一个反爬措施较严格的网站时，使用 selenium 做自动化登录时，无法定位输入框的问题。 查看网页源代码确实没有登录相关元素的标签，可以判定是采用的动态加载，但是即使使用的动态加载，等待页面渲染完毕之后应该还是能定位的。 看了下渲染完毕之后的网页源码，发现了在当前 html 页面中，又嵌 ......
.NetCore + Selenium IIS 部署踩坑记
一、问题 使用Selenium+chromedriver开发自动操作页面demo，本地调试使用IIS Express正常,部署到IIS 访问接口代码正常执行，但是，但是页面并没有启动 二、排查 网上找相似情况大概以下几种 1，chromedriver和chrome 的版本不一致 2，IIS用户权限 ......
爬虫前端代码
爬取前5个视频的视频以及弹幕。 url = 'https://search.bilibili.com/video?keyword=%E7%81%AB%E5%BD%B1&from_source=webtop_search&spm_id_from=333.1073&search_source=5' ......
测试与爬虫—抓包神器之Charles
# 前言 之前我们讲到过fiddler(https://www.cnblogs.com/zichliang/p/16067941.html),wireshark(https://www.cnblogs.com/zichliang/p/17477251.html) 今天我们来讲讲另一款跨平台的抓包软件 ......
浅谈-HttpSession session = request.getSession(false)
当使用 `request.getSession(false)` 方法时，如果当前请求没有关联的会话，则不会创建新的会话，而是返回 `null`。这意味着，如果当前客户端没有携带有效的会话标识符（如 JSESSIONID），或者会话已过期或被销毁，则 `request.getSession(false ......
Python爬虫——爬虫时如何知道是否代理ip伪装成功？
在进行爬虫时，我们可能需要使用代理IP来伪装自己的身份，以避免被网站封禁。如何判断代理IP是否伪装成功呢？本篇文章将围绕这个问题展开讲解，同时提供Python代码示例。 1. 确认代理IP地址 首先，我们需要确认代理IP地址是否正确。我们可以使用一些免费的代理IP池网站，如：站大爷、碟鸟ip、开心代 ......
python爬虫学习小记——lxml板块
python爬虫学习小记——lxml板块 lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。 XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样 ......
python爬虫学习小记——request模块
要学习爬虫我们首先要了解requests这个模块 Python requests 模块 Python requests 是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。 requests 模块比 urllib 模块更简洁。 使用 requests 发送 HTTP ......
requests的学习
#response的解析 ## 解析请求的url: r.url ## 解析响应状态码：r.ststus_code ，一枚10年程序猿。 # 一、爬取目标 之前我分享过一篇[知乎评论的爬虫教程](https://www.cnblogs.com/mashukui/p/16622995.h ......
Python爬虫—破解JS加密的Cookie
在进行网站数据爬取时，很多网站会使用JS加密来保护Cookie的安全性，而为了防止被网站反爬虫机制识别出来，我们通常需要使用代理IP来隐藏我们的真实IP地址。 本篇文章将介绍如何结合代理IP破解JS加密的Cookie，主要包括以下几个方面： 1. 什么是Cookie 2. 什么是JS加密的Cooki ......
[FireDAC][Phys][IB]-312 Exact update affected [0] rows, while [1] was requested
中间件升级为64位后，原因在32位下无错的，在64位下会更新出错 为了统一数据一致性，updateModel=upWhereALL ，更新出现 [FireDAC][Phys][IB]-312 Exact update affected [0] rows, while [1] was requeste ......
关于scrapy爬虫的注意事项
1. 图片下载的设置 class ClawernameSpider(scrapy.Spider): # 定制化设置 custom_settings = { 'LOG_LEVEL': 'DEBUG', # Log等级，默认是最低级别debug 'ROBOTSTXT_OBEY': False, # de ......
java报错：unable to find valid certification path to requested target
## 问题发现 unable to find valid certification path to requested target 当我使用java代码访问某个URL的时候，报了这个错误，经过查询发现需要安装证书到java环境，所以记录一下。 ## 下载证书 我使用的是chrome浏览器，点击地 ......
Python爬虫爬取B站评论区
写了两天，参考其他大牛的文章，摸着石头过河，终于写出了一个可以爬B站评论区的爬虫，人裂了…… 致谢 : 致谢： [SmartCrane](https://www.cnblogs.com/smartcrane/p/13172825.html) [马哥python说](https://zhuanlan. ......
Scrapy中搭配Splash丶selenium
Splash的初识 1 # Splash类似Selenium模拟浏览器浏览网页来动态爬取网站 2 # 文档:https://splash.readthedocs.io/en/stable/ 3 # Splash 在docker中安装: https://splash.readthedocs.io/en ......
scrapy源码分析：redis分布式爬虫队列中，priority值越大，优先级越高
# scrapy源码分析：redis分布式爬虫队列中，priority值越大，优先级越高 # 一、背景 scrapy爬虫项目中，遇到scrapy的priority属性，搞不懂priority的值越大优先级越高，还是值越小优先级越高 ```python # 通过priority修改优先级 return ......
requests--post中json中文编码问题
## 问题 requests post 提交 json 数据时，默认在库中 `ensure_ascii` 为 `True`。会对中文进行 `unicode` 编码。 但是有的时候服务端并没有处理中文，没有进行解码，而我们又改不了服务端，就会出现问题！ ## 解决 修改库的代码，添加上对应的 ensu ......
Python爬虫入门
# 前言 ## 网页构成 首先介绍一个网页的基本构成：HTML负责网页的结构，CSS负责样式的美化，Javascript负责交互逻辑。 >* HTML >* CSS >* Javascript 点击 F12打开开发者工具（部分电脑可能为Fn + F12）,使用元素选择工具，再将鼠标指针移动到任意网页 ......
周二 Request&Response
从苏州回河北，8.3上午到，标题进度不变在火车上没法学的会回家后补回来 package com.itheima.util; import org.apache.ibatis.io.Resources; import org.apache.ibatis.session.SqlSessionFactor ......
TDengine连接数满了报错:Connection is not available, request timed out after 30000ms.
#### 背景 使用tdengine时遇到一个情况,应用程序使用连接池将接收到的实时数据插入TD时, 会出现获取不到连接的报错. #### 重现 起一个模拟程序,发送100条数据到应用程序, 应用程序从批量插入改为逐条插入td, 重现出报错: ```java org.springframework. ......
Python-12-Python 虚拟环境与爬虫
12-1 虚拟环境的搭建 1. 为什么要搭建虚拟环境项目A需要在python2下运行，项目B需要在python3下面运行。项目A和B使用同一个包，但是项目A需要使用该包1.0版本，项目B需要使用2.0版本。那么创建虚拟环境可以解决包管理问题。 2. 搭建虚拟环境pip install pipenv ......
视图层:三板斧问题,JsonResponse序列化,form表单上传文件,request对象的其他几个方法,CBV的书写和FBV的写法,CBV的源码分析.模板层:变量之分配,过滤器
### 视图层 #### 三板斧问题 ```python # 在视图函数中写函数跟普通函数不太一样 # djagno中使用的局部的request def index(request): pass def func(request): pass '''所有的视图函数不能够没有返回值，并且返回值还必须是 ......
requests详细参数说明
-1. timeout：请求超时时间，单位为秒。 ```python import requests response = requests.get(url, timeout=5) # 设置5秒超时 ``` 2. verify：请求SSL证书验证。 ```python import requests ......
requests-html基础使用
Requests-HTML是一个基于Python的库，它是在Requests库的基础上构建的，并使用了PyQuery库来实现HTML解析。它提供了一个简单的方法来解析HTML文档并提取信息。 以下是使用Requests-HTML的步骤： 1. 安装Requests-HTML库：`pip instal ......
requests-html高级用法
以下是一些Requests-HTML的高级用法： 1. 使用`Session()`对象： 如果要保持会话状态并在多个请求之间共享Cookie和其他信息，可以使用`Session()`对象： ``` session = HTMLSession() r = session.get('https://ww ......
request的基本使用
requests是一个Python第三方库，可以方便地发送HTTP请求并处理响应。使用requests库需要先安装，可以通过pip命令进行安装： ``` pip install requests ``` 安装完成后，就可以在Python代码中使用requests库了。以下是一些常见的使用方法： 1. ......
nginx日志中request_time小于upstream_response_time
如题，最近监测nginx日志时，发现request_time小于upstream_response_time，如图， 正常情况下，request_time是从接受用户请求的第一个字节到发送完响应数据的时间，upstream_response_time是nginx向后端建立连接开始到接受完数据然后关闭 ......
爬虫学习（一）——requests库
一、安装 cmd-->pip install requests 安装测试 >>> import requests >>> r = requests.get("http://www.baidu.com") >>> r.status_code 200 >>> r.text 二、Requests库的get ......