爬虫request网站
《大型网站技术架构--核心原理与案例分析》阅读笔记
这本书组织的很不错，语言精练，篇幅也不长，对网站架构的要点讲的狠清楚透彻，思路清晰。主要围绕架构的五个要点：性能、高可用、伸缩性、扩展性、安全性。令人印象非常深刻。而且李智慧老师深谙职场之道，后面一些关于技术人的建议也让人受用无穷。 事物发展到一定阶段，就会拥有自身的发展冲动，摆脱其初衷，向着使自己 ......
nginx / 引发的400 The plain HTTP request was sent to HTTPS port
问题： 使用nginx反向代理并将所有80转到443，访问 https://域名/login 出现问题如下，访问 https://域名/login/ 正常显示，但是点击登录无法发送请求仅仅刷新验证码。求解答 <html> <head> <title> 400 The plain HTTP reque ......
【工具篇】switchyomega+burp实现定向网站抓包
一、SwitchyOmega的安装 下载页面地址：https://github.com/FelisCatus/SwitchyOmega/releases 直接下载地址：https://github.com/FelisCatus/SwitchyOmega/releases/download/v2.5. ......
参考网站
linux 鸟哥的linux私房菜 https://wizardforcel.gitbooks.io/vbird-linux-basic-4e/content/ 八股 ApacheCN 八股文知识库 https://bgww.apachecn.org/#google_vignette ......
如何在网站中添加非标准字体？
内容来自 DOC https://q.houxu6.top/?s=如何在网站中添加非标准字体？ 有没有一种在网站上添加自定义字体的方法，而不使用图片、Flash或其他图形？ 例如，我正在制作一个婚礼网站，我找到了很多适合这个主题的漂亮字体。但是我找不到正确的方法将该字体添加到服务器上。如何使用CSS ......
一些博客美化的工具网站
熬了个大夜终于倒腾好主页了（） 随便记几个用到的网站，慢慢补充 生成本地图片链接 想放喜欢的图当背景但博客园相册画质压缩严重…… 于是找到了这个网站 登录注册后可以上传本地图片生成URL，且免费 上传自己的live2D模型 模型需要和脚本匹配（。） 所以实际上我白传了（悲） 具体步骤： 1.在Git ......
Python 潮流周刊#26：requests3 的现状
你好，我是猫哥。这里每周分享优质的 Python、AI 及通用技术内容，大部分为英文。本周刊开源，欢迎投稿。另有电报频道作为副刊，补充发布更加丰富的资讯。 🐱品牌赞助 本周刊由“Python猫”出品，这是一个以 Python 技术科普和分享为主的科技自媒体，欢迎关注同名公众号。品牌合作请私信联系。 ......
前端Vue框架请求后台之request封装axios
1、第一步，安装axios ，在 vue项目 里面 输入 npm i axios -S 2、第二步，在vue项目中创建util 工具包，在里面创建request.js文件 3、request.js文件里面的代码参考下面 import axios from 'axios'; const request ......
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计 Go高并发微服务分布式 1.命令行的用户管理 用户信息存储 => 内存 => 结构 [] map => 用户 ID name age tel addr [len] [] map 值类型使用string 用户添加 用户的查询 用户修改 // 请输 ......
分享一个神器，可以永远告别chromedriver和chrome浏览器版本不匹配、爬虫无法运行的问题
一、下载地址：介绍地址：https://pypi.org/project/chromedriver-py/ 下载安装：pip install chromedriver-py 二、介绍 chromedriver-py 是一个Python包，提供了一个简单的接口，用于在Python项目中下载和使用Goo ......
gitlab new merge request 用git命令创建
git push --push-option=<push_option> git push -o <push_option> git push -o merge_request.create -o merge_request.target=xxxx gitlab中创建合并分支请求都是在网页中做的，g ......
python3 requests 请求https报错: urllib3.exceptions.SSLError: [SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failure (_ssl.c:992)
正文 代码示例： #-*- coding:utf-8 -*- import requests url = "https://tst.com" res = requests.get(url=url, verify=False) print(res.content) 运行就报错： urllib3.exc ......
谷歌浏览器任意网站创建即时聊天室
打开谷歌浏览器控制台，输入并回车： var s=document.createElement('script'); s.src='https://topurl.cn/chat.js'; document.body.append(s); ......
爬虫六
scrapy解析数据 运行爬虫 scrapy crawl cnblogs 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) 重点 1、response ......
【教你写爬虫】用Java爬虫爬取百度搜索结果！可爬10w+条！
一、爬取目标 大家好，我是盆子。今天这篇文章来讲解一下：使用Java爬虫爬取百度搜索结果。 首先，展示爬取的数据，如下图。 爬取结果1: 爬取结果2: 代码爬取展示: 可以看到，上面爬取了五个字段，包括 标题，原文链接地址，链接来源，简介信息，发布时间。 二、爬取分析 用到的技术栈，主要有这些 Pu ......
直播网站源码，CardView如何显示出底背景样式？
直播网站源码，CardView如何显示出底背景样式？ 初始化View进入构造方法，会进行IMPL.initialize方法的调用。这个IMPL是什么？ private static final CardViewImpl IMPL;static { if (Build.VERSION.SDK_INT ......
GO实战电商网站全流程开发实现高并发秒杀系统
GO实战电商网站全流程开发实现高并发秒杀系统 1、秒杀业务分析 正常电子商务流程 （1）查询商品；（2）创建订单；（3）扣减库存；（4）更新订单；（5）付款；（6）卖家发货； 秒杀业务的特性 （1）低廉价格；（2）大幅推广；（3）瞬时售空；（4）一般是定时上架；（5）时间短、瞬时并发量高； 2、秒杀 ......
Go语言开发Web网站实现流媒体，Web视频网站的关键技能
Go语言开发Web网站实现流媒体，Web视频网站的关键技能 一，流媒体直播框架分析 Golang 是一门高并发、高性能的编程语言，非常适合用于流媒体直播等实时场景。下面是几个比较常用的 Golang 流媒体直播框架： go-rtmp：一个基于 Go 的 RTMP 服务器和客户端库，支持 RTMP 直 ......
爬虫常用写法和用法
1、查找所有：结果 = re.findall(正则, 字符串) => 返回列表，用法：r""专业写正则的。 没有转义的烦恼，result = re.findall(r"\d+", "我有1000万，不给你花，我有1块我给你") 2、结果 = re.finditer(正则, 字符串) => 返回迭代器 ......
Python爬虫：实现爬取、下载网站数据的几种方法
使用脚本进行下载的需求很常见，可以是常规文件、web页面、Amazon S3和其他资源。Python 提供了很多模块从 web 下载文件。下面介绍 一、使用 requests requests 模块是模仿网页请求的形式从一个URL下载文件 示例代码： import requests url = 'x ......
Required request parameter 'numbers' for method parameter type String[] is not present
报错就是这个，然后报错的信息再给点详细的 org.springframework.web.bind.MissingServletRequestParameterException: Required request parameter 'numbers' for method parameter t ......
requests 库回顾 发登录请求
1.md5 对密码加密 # md5 加密 import hashlib def get_md5(data1): # 传入加密的参数 data1 = hashlib.md5(data1.encode()) # 解密获得人类能看懂的字符串 data_md5 = data1.hexdigest() ret ......
爬虫五
打码平台 2、登录某些网站，会有验证码 》想自动破解 数字字母：python模块：ddddocr 计算题，成语题，滑块。。。：第三方打码平台，人工操作 2、打码平台 云打码，超级鹰 3 、咱们破解网站登录的思路 使用selenium 》打开网站 》（不能解析出验证码地址） 》使用截图 案例 超级鹰a ......
爬虫-mysql-工具
MySQL数据库 一、MySQL数据库的介绍 1、发展史 1996年，MySQL 1.0 2008年1月16号 Sun公司收购MySQL。 2009年4月20，Oracle收购Sun公司。 MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（ ......
【爬虫】爬取网站图片的url学习记录，xpath用法
这次是想爬取一个壁纸网站里面图片的url，这里使用了lxml库，先上脚本 import requests from lxml import etree url="https://pic.netbian.com/4kdongman/" domain="https://pic.netbian.com/" ......
RequestContextHolder详解（获取request对象的四种方法）
方法1、Controller中加参数来获取request 注意：只能在Controller中加入request参数。 一般，我们在Controller中加参数获取HttpServletRequest，如下所示： @RestController@RequestMapping("/gap")public ......
爬虫四
selenium等待元素加载 代码操作非常快，有的还没加载，找不到就会报错 设置等待：显示等待，隐式等待 bro.implicitly_wait(10) 找某个标签，如果找不到，最多等待10s selenium元素操作 点击操作 click（） 写文字 send_keys（‘内容’） 清空文字 cl ......
Uncaught SyntaxError: The requested module '/vue3-print/node_modules/.pnpm/dayjs@1.11.9/node_modules/dayjs/dayjs.min.js?v=b0e0e64f' does not provide an export named 'default' (at Upload.vue:10:8)
前提 在项目环境 vue3.3.4 + vite4.4.11 下，安装dayjs1.11.9 报错 Uncaught SyntaxError: The requested module '/vue3-print/node_modules/.pnpm/dayjs@1.11.9/node_modules ......
遇到的问题之“使用get请求时，请求参数中存在#导致后端request获取不到值”
一.问题 使用get请求时，请求参数中存在#导致后端request获取不到值 发出参数带#的请求 后端接收不到SKU的值，连后面platformId的值都没有了 二.原因 1、有些符号[参数包含有特殊字符（%、#、&）]在URL中是不能直接传递的，如果要在URL中传递这些特殊符号，那么就要使用他们的 ......