爬虫pytesseract requests selenium
成功解决requests 报错raise SSLError(e, request=request)_requests.exceptions.SSLError_ HTTPSConnectionPool(host='v4.ketangpai.com',
问题描述 在使用requests调用https接口时，会遇到ssl证书报错 raise SSLError(e, request=request) requests.exceptions.SSLError: HTTPSConnectionPool(host='v4.ketangpai.com', po ......
java模仿网络爬虫简单案例，直接看代码
java模仿网络爬虫简单案例，直接看代码 package com.example.demo1; import java.io.*; import java.net.*; import java.util.regex.Matcher; import java.util.regex.Pattern; / ......
Day 22 22.1 Web自动化之selenium&pyppeteer
web自动化 随着互联网的发展，前端技术也在不断变化，数据的加载方式也不再是单纯的服务端渲染了。 现在你可以看到很多网站的数据可能都是通过接口的形式传输的， 或者即使不是接口那也是一些 JSON 的数据，然后经过 JavaScript 渲染得出来的。 这时，如果你还用 requests 来爬取内容， ......
Python网络爬虫进阶扩展
学习爬虫不是一天就能学会的，得循序渐进的慢慢学透了，才能更好的做爬虫相关的工作。下面的爬虫有关的有些知识点肯定要学会。 1、如何使scrapy爬取信息不打印在命令窗口中 通常，我们使用这条命令运行自己的scrapy爬虫： scrapy crawl spider_name 但是，由这条命令启动的爬虫， ......
网络爬虫完整案例
网页爬虫也并非那么难，只要理解他几个模块已经步骤，正常来说完成一个爬虫来说很容易。将requests、正则表达式的基本用法等知识点串联起来，实现一个完整的网站爬虫。 1、准备工作 （1）安装好Python3，最低为3.6 版本，并能成功运行 Python3 程序。 （2）了解 Python HTTP ......
Selenium-处理弹窗弹出新页面的切换问题
WebDriverWait wait = new WebDriverWait(driver, TimeSpan.FromSeconds(60)); wait.Until(driver => { return driver.WindowHandles.Count== waitforHandlesCou ......
Selenium-Alert弹出框常用处理办法
Alert弹出框由于不是html的页面元素，而是JavaScript的控件，所以不能右键检查，用传统的方法去操作。Selenium提供了三个常用处理alert的方法： 点击确定按钮： driver.switch_to.alert.accept() 点击取消按钮： driver.switch_to.a ......
selenium元素定位详解
前端页面定位有很多种插件，如谷歌浏览器插件chroPath，还有selenium Builder，下面我们通过chroPath插件来通过xpath和css selector进行定位 一、xpath进行定位 1.xpath定位之//*定位当前页面下的所有元素 2.xpath定位之通过属性进行定位 3. ......
selenium环境搭建及基本元素定位方式
谷歌驱动下载地址： http://chromedriver.storage.googleapis.com/index.html 一、selenium简介 由于requests模块是一个不完全模拟浏览器行为的模块，只能爬取到网页的HTML文档信息，无法解析和执行CSS、JavaScript代码，因此需 ......
Python基础(四)爬虫
python爬虫 系列文章 网上搜素的系列文章 记录一下后续可能会用https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI3NzI1MzY4Mw==&action=getalbum&album_id=1786298272630816773#wechat_r ......
python-爬虫-css提取-写入csv-爬取猫眼电影榜单
猫眼有一个电影榜单top100，我们将他的榜单电影数据（电影名、主演、上映时间、豆瓣评分）抓下来保存到本地的excle中 本案例使用css方式提取页面数据，所以会用到以下库 import time import requests import parsel #解析库，解析css import csv ......
自学Python爬虫笔记（day2）
环境python3.9版本及以上，开发工具pycharm 浏览器工具推荐使用Chrome，其他浏览器均有一定程度的阉割。 主要是熟练使用后端界面进行爬取数据。 http协议：超文本传输协议 把一条消息分为三大块内容： 请求： 1.请求行 --> 请求方式（get/post） 请求URL地址 协议 2 ......
Python爬虫 execjs执行js报错json.decoder.JSONDecodeError: Expecting value: line 1 column 85 (char 84)
fun=re.search(r'(__=\([\S\s]*?;)<',r_text).group(1)fun=fun+'function get(){return JSON.stringify(__.data)}'ctx = execjs.compile(fun)rdata = (ctx.eval( ......
怎么实现从app注册登录应用跳转到app2所获得爬虫后台数据
import json from flask import Flask, render_template, request, jsonify from flask_mysqldb import MySQL from flask_login import logout_user import pymy ......
07selenium
selenium 动态网页爬虫： 分析接口，然后通过代码请求这个接口 使用selenium+webdriver模拟浏览器获取数据 1. selenium和webdriver Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接调用浏览器，它支持所有主 ......
08多任务爬虫
多任务爬虫 线程进程回顾 实现多任务爬虫的方式：多进程/多线程 进程：是计算机当中最小的资源分配单位 线程：是计算机当中可以被CPU调度的最小单位 我们执行一个python代码的时候，在计算机的内部会创建一个进程，在进程当中会创建一个线程，代码是由线程去执行的 创建进程/线程 import time ......
02requests的使用
requests的使用 一、requests模块 1.1 request模块的安装 在CMD命令行中执行如下命令进行在线安装 pip install requests 由于网络的不稳定性有时会导致下载失败，在下载的时候我们可以加上第三方源进行下载 清华：https://pypi.tuna.tsing ......
01爬虫初识
初识爬虫 一、爬虫介绍 爬虫主要的功能就是抓取网络数据的程序。本质就是用程序模拟人使用浏览器访问网站，并将所需要的数据抓取下来。 爬虫可分为两大类：通用网络爬虫、聚焦网络爬虫 通用网络爬虫：是搜索引擎的重要组成部分，百度搜索引擎，其实可以更形象地称之为百度蜘蛛（Baiduspider），它每天会在海 ......
scrapy爬虫框架（五）Spider Middleware
Spider Middleware，中文可以翻译为爬虫中间件，但我个人认为英文的叫法更为合适。它是处于Spider 和 Engine 之间的处理模块。当 Downloader 生成 Response 之后，Response 会被发送给 Spider,在发送给 Spider 之前，Response 会 ......
python selenium使用clear无法清除默认值的问题
页面自带输入框默认值时，想要修改输入框的内容，使用clear()后再使用send_keys()，结果无法起到清除文本框内容的作用，反而会在输入框默认值后面追加内容。 解决方法： 一、通过键盘的快捷键进行全选，然后删除，彻底解决 from selenium.webdriver.common.keys ......
自学Python爬虫笔记（day1）
环境python3.9版本及以上，开发工具pycharm 君子协议：robots.txt协议 规定了网站中哪些数据可以被爬虫爬取哪些不可以被爬虫爬取 下面是我学习的第一个爬虫的开发： from urllib.request import urlopen url = "http://www.baidu ......
selenium Java基础一
1、下载相应的浏览器驱动包 //设置环境变量 System setProperty("webdriver.firefox.marionete","D:\\geckodriver.exe"); //初始化driver WebDriver driver =new FirefoxDriver(); /请求 ......
反爬虫常见策略总结
有爬虫就有反爬虫，这都是相辅相成的，对于长时期从事在爬虫行业的技术员来说，时刻要了解对应网站的反爬机制，才能稳定获取数据。下面就是我这几年接触过的反爬的一些案例，供大家参考下。 反爬虫 反爬虫，即应对爬虫进行反制的统称，主要区分“正常用户”与“机器人”的一种策略统称。 认识反爬虫 正所谓知其然，知其 ......
解决Mixed Content: The page at https://* was loaded over HTTPS, but requested an insecure XMLHttpReque
问题： 前端页面调用后端接口加载不出来 原因分析： 通过查看浏览器调试 console 日志，得到报错如下 原文： Mixed Content: The page at https://* was loaded over HTTPS, but requested an insecure XMLHtt ......
selenium拉到底
from selenium import webdriver from lxml import etree driver = webdriver.Chrome() driver.get(url='https://www.ixigua.com/home/2515337690485792/?source ......
爬虫遇到了点问题
正常在写一些爬虫代码的时候多少都会出点小问题，一位合格的程序员应该会认真排除并加以解决错误，如果是新手看着满屏的代码可能会一筹莫展。 golang爬某网站代码优化后，运行报了如下的错，找了半小时才找到原因，在此记录一下。 代码是这样的： 有一个interface类型的Parser： type Par ......
c#OpenQA.Selenium截图二维码
c#OpenQA.Selenium 如何给指定元素截图，比如截图获取二维码， 1.获取指定元素节点 var image = driver.FindElementById("CheckCode"); 2.使用ITakesScreenshot获取截图并保存 Screenshot screenshot = ......
爬虫中的代理问题
最近身边很多人都遇到爬虫中的爬虫ip问题，写下这篇博客来记录自己所学，希望可以帮助到你们。 可能很多人都会问为什么我需要用爬虫ip呢？不用不可以吗？用了爬虫ip之后发现爬虫抓取数据的速度反而下降了不少于是放弃爬虫爬虫ip的使用。 如果我们只是进行少量数据的爬取，用本机的IP与User-Agent去抓 ......
Postman文件上传报错：The current request is not a multipart request解决方法
主要报错语句为： The current request is not a multipart request 就是说当前这个请求不是一个multipart request，也就是说不是上传文件的请求。 那怎么办呢？ 这里我们需要知道一点，spring在处理入参的时候， 遇到MultipartFil ......
scrapy爬虫框架（四）Downloader Middleware的使用
Downloader Middleware是处于Engine和Downloader之间的模块，其重要作用就是处理schduler调度器发送到Engine的Request和经过Downloader响应后的response返回至Engine过程中的处理。如图所示： 也就是说，Downloader Mid ......