爬虫pytesseract requests selenium
第一个爬虫程序：爬取豆瓣电影top250
运行该程序需要下载两个扩展库 requestsL:在终端或cmd中运行 pip install requests BeautifulSoup: pip install bs4 代码: import requests from bs4 import BeautifulSoup headers = { ......
自学Python爬虫笔记（day5）
环境python3.9版本及以上，开发工具pycharm HTML基础语法 HTML（Hyper Text Markup Language）超文本标记语言，是我们编写网页的最基本也是最核心的一种语言，其语言规则是用不同的标签对网页上的内容进行标记，从而使网页显示出不同的展示效果。 展示一部分： <! ......
使用 selenium 自动化抓取百度案例
# 1.导入 from selenium.webdriver.chrome.service import Service from selenium import webdriver from selenium.webdriver.common.by import By import time # ......
爬虫动态爬取新
from selenium import webdriverimport timefrom selenium.webdriver.common.by import Bybrow=webdriver.Edge()brow.get('https://m.anjuke.com/qd/')time.slee ......
python爬虫案列11：爬取双色球历史开奖记录并存储到mysql
开始之前要先在MySQL创建一个名为spider的数据库，在里面创建一个名caipiao的表，表里面三个字段，data，red，blue 点击查看代码 import requests import pymysql from lxml import etree # 连接数据库 conn = pymys ......
爬虫案列10：python 连接mysql
import pymysql # 打开数据库连接 db = pymysql.connect(host='localhost', user='root', password='root', database='pikachu', port=3306 ) # 使用 cursor() 方法创建一个游标对象 ......
selenium+JS网页免弹框上传图片or文件
这里以上传图片为例 找到上传按钮附近的input元素下type=file selenium直接执行代码 file_path = r'C:\Users\Administrator\Desktop\imge\xxxxxx.jpg'需要上传的图片路径 upload_div_loc = 'input[typ ......
Python爬虫知识回顾
之前一直沉溺于java，jsp，ssh，db等爬虫，现在又要开始走python的老路了。常用的requests库，通过requests对象的get方法，获取一个response对象。jsp的东西。 其中timeout,proxies,headers,cookies,verify,是我用到过的东西。 ......
node爬虫实践总结
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 随着web2.0时代的到来，数据的价值愈发体现出来。无论是在目前火热的人工智能方向，还是在产品侧的用户需求分析，都需要获取到大量的数据，而网络爬虫作为一种 ......
Python 爬虫框架 looter
我们常用的pyspider，scrapy就不多介绍了，今天咱们玩looter框架的爬虫，其实爬虫很有意思，看看下面的代码就秒懂。 安装 先安装好python3，需要3.6以上，然后执行 pip install looter λ looter -h Looter, a python package d ......
selenium 常用的选择器
新版本Selenium代码需要引入： from selenium.webdriver.common.by import By 选择器也变了,而后做如下修改 # inputTag = driver.find_element_by_id("value") # 利用ID查找 # 改为： inputTag ......
安装 selenium
安装 selenium 查看谷歌版本 Chrome驱动下载地址(跟谷歌版本一定要对上): http://chromedriver.storage.googleapis.com/index.html 下载好以后 放入项目的根目录 创建文件并安装引入selenium 打开浏览器百度网站 案例 # 1.导 ......
selenium驱动未随浏览器更新而同步更新的问题
基于selenium模拟谷歌浏览器登录时，依赖chromedriver.exe版本信息。但谷歌浏览器升级后，之前创建的脚本可能会出现因驱动版本过低，使得之前创建的脚本运行失败的问题。 下面针对该问题进行探索和解决。 selenium版本 import selenium selenium.__vers ......
Flask快速入门day 04（请求上下文分析：request源码分析，导出项目依赖，偏函数的使用，flask生命流程，wtforms）
Flask框架 一、请求上下文分析（源码：request原理） 1、导出项目依赖 - 之前导出项目依赖使用 pip freeze > requiremnts.txt - 现在导出项目依赖 # 使用第三方模块 # 优点：可以根据项目使用的模块，更加精准的导出 - 使用方法： # 第一步：安装 pip ......
python+selenium写自动化脚本遇到的坑
1.定位不到元素 网速不好定位的元素还没有刷新出来 使用等待有三种强制等待，显式等待，隐式等待 动态ID 不要复制xpath，要手写。判断是动态ID的方法，多次关闭浏览器再打开网址，查看ID是否会发生变化 下拉框，文件无法定位 还没有解决 ......
初识爬虫
初识爬虫 一、预备知识 协议：就是两个计算机之间为了能够流畅的进行沟通而设置的一个君子协定，常见的协议有TCP/IP，SOAP协议，HTTP协议，SMTP协议等等。 HTTP协议，中文名为“超文本传输协议”，是用万维网（WWW）服务器传输超文本到本地浏览器的传送协议。 1、请求 1 请求行 -> 请 ......
request库，unittest框架
一、设置 http 请求语法 resp = requests.请求方法(url='URL地址', params={k:v}, headers={k:v}, data={k:v}, json={k:v}, cookies='cookie数据'(如：令牌)) 请求方法： get请求 - get() po ......
请求上下文分析（源码：request原理）、wtforms（了解）
# 1 蓝图 - 第一步：导入 - 第二步：实例化得到对象，可以指定static和templates - 第三步：app中注册蓝图，注册蓝图时，可以指定前缀 - 第四步：使用蓝图，注册路由，注册请求扩展 # 2 g对象 -当次请求的全局对象，在当次请求中可以放值和取值 -跟session的区别是 # ......
requests---jsonpath在接口自动化中的应用
前言 我们在做接口测试时，大多数返回的都是json属性，我们需要通过接口返回的json提取出来对应的值，然后进行做断言或者提取想要的值供下一个接口进行使用，但是如果返回的json数据嵌套了很多层，通过查找需要的词，就很麻烦不方面，小编今天介绍一种python的第3方库jsonpath jsonpat ......
python爬虫练习-爬取豆瓣电影top250
一、设计方案 爬取的内容：豆瓣电影的榜单数字、名称、评星、评分、评论数量 方案实现思路：使用requests爬取网页，然后实现数据解析，借助pandas将数据写出到Excel 二、主题页面的结构特征分析 1.打开开发者工具，查找我所需的内容，以及它所在的标签；在 div class="item" 中 ......
Python3网络爬虫实战之爬虫框
ScrapySplash的安装 ScrapySplash 是一个 Scrapy 中支持 JavaScript 渲染的工具，本节来介绍一下它的安装方式。 ScrapySplash 的安装分为两部分，一个是是 Splash 服务的安装，安装方式是通过 Docker，安装之后会启动一个 Splash 服务 ......
智能爬虫框架
爬虫应用的广泛，例如搜索引擎、采集数据、广告过滤、数据分析等。当我们对少数网站内容进行爬取时写多个爬虫还是有可能的，但是对于需要爬取多个网站内容的项目来说是不可能编写多个爬虫的，这个时候我们就需要智能爬虫。 智能爬虫目前有三种： 基于网页内容的爬虫 当网页含有大量需要提取的信息时，我们就需要用到基于 ......
关于Python爬虫的一些总结
作为一名资深的爬虫工程师来说，把别人公开的一些合法数据通过爬虫手段实现汇总收集是一件很有成就的事情，其实这只是一种技术。 初始爬虫 问题： 什么是爬虫？ 网络爬虫是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。 爬虫有什么用？ ① 网络数据采集 ② 大数据分析 ③ 网页分析 什么工作原理？ ......
一个灵活的 nodejs 爬虫库 —— x-crawl
x-crawl x-crawl 是一个灵活的 nodejs 爬虫库。可批量爬取页面、批量网络请求、批量下载文件资源、轮询爬取等。用法灵活和简单，对 JS/TS 开发者友好。 如果你喜欢 x-crawl ，可以给 x-crawl 存储库 点个 Star 支持一下，不仅是对它的认可，同时也是对开发者的认 ......
Selenium做Web自动化踩过的坑
1.无法定位到元素/定位元素超时(selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element/selenium.common.exceptions.Time ......
JSP内置对象Request的使用方法
JSP request 是 javax.servlet.http.HttpServletRequest 的实例对象，主要用来获取客户端提交的数据。request 对象提供了一系列方法，可以获取请求参数信息、表单数据、HTTP 头信息、cookie 和 HTTP 请求方法等。Request对象最长见的 ......
python网络爬虫
一、爬虫的基本思路 打开网页：requests / urllib 找到需要的信息：标签 / xpath / jsonpath / ... 获取和存储信息：json文档 二、网页的分类 1. 静态网页 源代码中包含需要的信息 国务院办公厅关于印发"十四五"国民健康规划的通知 爬取方式：直接从源代码中提 ......
python requests的超时和重试
from requests.adapters import HTTPAdapter from requests import Session import requests session = Session() # request 重试配置 重试一次 # 如果发生读取异常，则请求时间为 (重试次数 ......
PayloadTooLargeError: request entity too large错误解决
这个错误通常是由于你正在尝试上传大于服务器最大允许大小的文件或数据导致的。这通常可以通过在服务器端进行一些配置更改来解决。 如果您使用的是Node.js，您可以使用body-parser中间件来增加请求体的限制。例如，以下代码将允许请求体的最大大小为10MB： var bodyParser = re ......