爬虫pytesseract requests selenium
Golang语言快速上手到综合实战-高并发聊天室、豆瓣电影爬虫
Golang语言快速上手到综合实战-高并发聊天室、豆瓣电影爬虫 我们公司需要快速迭代一款产品,当时,我们团队的后端框架是spring mvc ，该框架结构清晰,上手快,但是由于我们的产品迭代速度快,底层数据库操作接口变动频繁,导致service层工作量巨大,不胜其烦。另外,随着项目的成长，代码量越来 ......
WCF restful 上传文件 返回413 request entity too large
网上各种 加binding 都不行 最后找到了在配置文件中加 webHttpBinding 1 <system.serviceModel> 2 <bindings> 3 <webHttpBinding> 4 <binding 5 maxBufferPoolSize="2048576000" 6 ma ......
Exception in thread "main" java.net.BindException: Cannot assign requested address
两种情况 1.端口号被占用,导致地址无法绑定 # windows查看端口pid netstat -aon|findstr 8080(端口号) # linux查看端口占用 netstat -anp|grep 8080 2.ip地址与本机地址不匹配,导致地址无法绑定 # windows查看ip ipco ......
解决ES因内存不足而无法查询的错误，Data too large, data for [<http_request>]
转自https://www.kancloud.cn/luke8327/phpwolf/2655264 本解决方案的前提是在docker环境下 错误详情： [type=circuit_breaking_exception, reason=[parent] Data too large, data fo ......
【爬虫实战】用Python采集任意小红书笔记下的评论，爬了10000多条，含二级评论！
马哥原创：用Python采集小红书评论，抓取字段包含：笔记链接,页码,评论者昵称,评论者id,评论者主页链接,评论时间,评论IP属地,评论点赞数,评论级别,评论内容。 ......
selenium+python,自动获取cookie登录
一、通过cookie一直保持自动登录状态 1.手动操作原理： 保持自动登录状态 1.通过cookie信息的唯一标识ID 2.登录后一直保持不退出状态，就可以实现自动登录 登录后，session唯一标识：如果当前是登录状态，那就是登录。如果不是登录状态，就不是登录的。 如何查看是否登录状态？ 浏览器打 ......
selenium远程调用浏览器（firefox版）
安装selenium浏览器服务 docker run --name firefox -d -p 4444:4444 -p 7900:7900 --shm-size="2g" selenium/standalone-firefox:3.141 demo from selenium import web ......
selenium4 增加超时和等待时间
增加全局的超时 和 等待时间： import time from selenium.webdriver import Keys, ActionChains from selenium.webdriver.common.by import By from selenium import webdriv ......
爬虫工具—whistle安装与使用
参考链接 https://mbd.baidu.com/ug_share/mbox/4a83aa9e65/share?product=smartapp&tk=fae2094d0e00d4e4fae484fa554fe802&share_url=https%3A%2F%2Fzoyi14.smartapp ......
Selenium学习--0
参考链接Python测试驱动开发 Q：参考链接命令无法创建django程序 A：命令修改 # 原命令 django-admin.py startproject superlists # 修改成 django-admin startproject superlists # 启动Django的开发服务器 ......
Docker_报错：Host key for 47.116.79.175 has changed and you have requested strict checking. Host key verification failed.
Host key for 47.116.79.175 has changed and you have requested strict checking. Host key verification failed. 问题原因用OpenSSH的人都知ssh会把你每个你访问过计算机的公钥(public ......
[-005-]-Python3+Unittest+Selenium Web UI自动化测试之页面滑动
1.上下滑动 a.滑动 # 滑动至页面底部： js1 = "window.scrollTo(0, document.body.scrollHeight)" self.driver.execute_script(js1) # 滑动至页面顶部： js2 = "window.scrollTo(0, 0)" ......
selenium+python,登录有验证码的处理方式
验证码的验证方式 1.关闭验证码功能 2.设置万能验证码 3.通过第三方打码平台识别验证码 验证码图片获取提取验证码信息 验证码图片识别 通过第三方平台 1.超级鹰https://www.chaojiying.com/ 2.通过发送一个第三方的接口请求处理识别验证码 http://upload.ch ......
第三方requests库
学习目标 掌握安装第三方模块的方法 掌握requests库的常用方法与返回值 掌握requests下载保存数据 核心知识 系统库（像socket、os）与第三方库的唯一区别就是:一个是默认自带不需要下载安装的库，一个是需要下载安装的库。 requests库是网络请求库，非常的简单使用，常用于爬虫，文 ......
解决使用mitmprox抓包可以访问网页，但是使用python request 调用该网站接口报错问题
可能有几种原因导致这种情况。以下是一些常见的问题和可能的解决方法： 证书验证问题： 当你使用mitmproxy抓包时，它通常会生成自签名的SSL证书，以便进行中间人攻击检查。但在Python中使用requests库时，默认情况下，它会验证SSL证书的有效性。你需要禁用SSL验证，以便使用mitmpr ......
python__requests模块的session对象
****************************************************************************************************************************************************** ......
第 14 节 爬虫（2）
from urllib.request import urlopen#urLLib相关与URL处理的包管理器url "http://photo.sina.com.cn/"con urlopen(url)print(' ')print(con.read())cons =con.read()f open ......
第 14 节 爬虫（1）
爬虫的应用场景 举个例子！ 如果你需要做一个互联网岗位薪资分析，但是没数据你会怎么做？自己想做一个视频网站，但是没那么多作品怎么办？我想做一个新闻资讯，但是没新闻怎么办？想看一个热度排行，怎么看？ 做一些批量下载，怎么搞？ 一、什么是爬虫通俗的讲：就是模拟浏览器抓取数据科学的讲：通过一定的规则用程序 ......
selenium 知网爬虫之根据【关键词】获取文献信息
哈喽大家好，我是咸鱼 之前咸鱼写过几篇关于知网爬虫的文章，后台反响都很不错。虽然但是，咸鱼还是忍不住想诉苦一下 有些小伙伴文章甚至代码看都没看完，就问我 ”为什么只能爬这么多条文献信息？“（看过代码的会发现我代码里面定义了 papers_need 变量来设置爬取篇数），”为什么爬其他文献不行？我想爬 ......
Python 接口自动化 —— requests框架
1.前言 Python内置的urllib模块，也可以用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。因此我们使用 requests 模块进行进行接口测试。 requests官方文档资料地址：http://cn.python-requests.org/zh_CN/latest/ ......
Python:爬取某软件站数据报错requests.exceptions.SSLError: HTTPSConnectionPool(host='api.***.cn', port = 443):
使用Python爬取某网站数据时候，之前一直是好好的。突然就报错：requests.exceptions.SSLError: HTTPSConnectionPool(host='api.***.cn', port = 443): Max retries exceeded with url: /acc ......
【K哥爬虫普法】网盘用的好，“艳照门”跑不了
我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。 案情简介 2017 年 7 月份，金熊信息科 ......
21.9 Python 使用Selenium库
Selenium是一个自动化测试框架，主要用于Web应用程序的自动化测试。它可以模拟用户在浏览器中的操作，如打开网页、点击链接、填写表单等，并且可以在代码中实现条件判断、异常处理等功能。Selenium最初是用于测试Web应用程序的，但也可以用于其他用途，如爬取网站数据、自动化提交表单等。Selen... ......
session.getId()和request.getRequestedSessionId()不一样！！！
request.getSession().getId()将返回服务器的会话ID（如果会话不存在，request.getSession()将创建它）。 request.getRequestedSessionId()是从cookie中获取的~~ ，如果浏览器没有cookie，或者客户端没有指定cooki ......
requests库的常用方法
requests是python的第三方库 pip3 install requests 常用的6种方法： post delete put get 增加、删除、修改、查询 .基于Restful API架构 request session 发送get请求 get(url, params=None, **k ......
scrapy 爬虫框架（二）
scrapy 爬虫类 一. 重写 start_request 方法 1. scrapy 起始url 在创建爬虫的时候，父类中会执行start_request 函数，并且默认的回调函数为 def parge(self,response):pass 2. start_request函数 循环url 封装 ......
scrapy中爬虫数据如何异步存储mysql数据库jd
1. SQL CREATE TABLE `JDAll` ( `shop_id` VARCHAR (16) NOT NULL, //商品ID `url` VARCHAR (255) DEFAULT NULL, //商品url `title` VARCHAR (1024) DEFAULT NULL, / ......
Python自动化测试selenium指定截图文件名方法
这篇文章主要介绍了Python自动化测试selenium指定截图文件名方法，Selenium 支持 Web 浏览器的自动化，它提供一套测试函数，用于支持 Web 自动化测试，下文基于python实现指定截图文件名方法，需要的小伙伴可以参考一下 ......
Upgrade-Insecure-Requests:1 详解
Upgrade-Insecure-Requests:1 Upgrade-Insecure-Requests 是一个HTTP响应头，用于向浏览器发出指示，要求浏览器使用 HTTPS 加密协议来访问网站，以提高网站的安全性。当浏览器收到这个响应头时，它会自动将所有的 HTTP 请求转换为 HTTPS 请 ......
爬虫-beautifulsoup-工具
beautifulsoup 一、beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通 ......