爬虫request网站
分享一个在线二进制编码网站，特别方便好用
## 二进制文件是什么 > 二进制文件是一种计算机文件，其中的数据以二进制形式编码。在计算机系统中，所有的数据和指令都以二进制形式表示。二进制文件通常包含可执行代码、程序数据、图像、音频、视频等多种类型的信息。 > 与文本文件不同，二进制文件中的数据不以可读的字符形式表示，而是以字节为单位进行编码。 ......
好用的网站
橘子盘搜：https://www.nmme.xyz/ 有各种影视资源 大力盘搜：https://www.dalipan.com/#/main/search?restype=1 查找各种学习资源和小说 CG资源网：https://www.cgown.com/ 剪辑全家桶资源等 新CG：https:// ......
使用缓存优化网站性能：缓解数据库压力，提高访问速度
使用缓存是一种有效的优化网站性能的方式，特别是对于那些访问集中在少部分数据上的场景，可以显著减轻数据库的压力，提高网站的响应速度和性能。 缓存的主要原理是将常用的数据存储在内存中，以避免频繁地从数据库读取数据。由于内存的读写速度远远快于磁盘，通过缓存可以大幅提高数据访问的速度，从而改善整个网站的性能 ......
大型网站架构演化：从单一服务器到云计算的进化之路
在互联网发展的过程中，大型网站架构经历了多个阶段的演化。从上世纪90年代初的CERN正式发布Web标准和第一个Web服务出现开始，到现在已经过去了短短20多年的时间，但在这个相对短暂的时间里，互联网的世界发生了巨大的变化。 1. 单一服务器架构： 早期的互联网网站大多采用单一服务器架构，即将网站的所 ......
用户体验设计：提升网站吸引力与用户满意度的秘诀
导言： 在竞争激烈的互联网时代，用户体验设计成为吸引用户和留住客户的重要因素。优秀的用户体验可以提高网站的可用性和吸引力，增加用户的满意度和忠诚度。本文将深入探讨用户体验设计的重要性、关键要素以及有效的设计秘诀，帮助企业打造令人印象深刻的用户体验，实现业务的持续增长。 一、用户体验设计的重要性 提高 ......
爬虫前端代码
爬取前5个视频的视频以及弹幕。 url = 'https://search.bilibili.com/video?keyword=%E7%81%AB%E5%BD%B1&from_source=webtop_search&spm_id_from=333.1073&search_source=5' ......
测试与爬虫—抓包神器之Charles
# 前言 之前我们讲到过fiddler(https://www.cnblogs.com/zichliang/p/16067941.html),wireshark(https://www.cnblogs.com/zichliang/p/17477251.html) 今天我们来讲讲另一款跨平台的抓包软件 ......
提升网站排名与流量的关键策略
导言： 在如今竞争激烈的互联网时代，网站的排名和流量对于企业的在线可见性和业务发展至关重要。搜索引擎优化（SEO）是一种关键的策略，旨在提高网站在搜索引擎结果页面上的排名，从而增加网站的曝光率和有针对性的流量。本文将深入探讨SEO的基本概念、关键要素以及有效的优化技巧，帮助读者实现网站在搜索引擎上的 ......
浅谈-HttpSession session = request.getSession(false)
当使用 `request.getSession(false)` 方法时，如果当前请求没有关联的会话，则不会创建新的会话，而是返回 `null`。这意味着，如果当前客户端没有携带有效的会话标识符（如 JSESSIONID），或者会话已过期或被销毁，则 `request.getSession(false ......
Python爬虫——爬虫时如何知道是否代理ip伪装成功？
在进行爬虫时，我们可能需要使用代理IP来伪装自己的身份，以避免被网站封禁。如何判断代理IP是否伪装成功呢？本篇文章将围绕这个问题展开讲解，同时提供Python代码示例。 1. 确认代理IP地址 首先，我们需要确认代理IP地址是否正确。我们可以使用一些免费的代理IP池网站，如：站大爷、碟鸟ip、开心代 ......
python爬虫学习小记——lxml板块
python爬虫学习小记——lxml板块 lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。 XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样 ......
python爬虫学习小记——request模块
要学习爬虫我们首先要了解requests这个模块 Python requests 模块 Python requests 是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。 requests 模块比 urllib 模块更简洁。 使用 requests 发送 HTTP ......
requests的学习
#response的解析 ## 解析请求的url: r.url ## 解析响应状态码：r.ststus_code ，一枚10年程序猿。 # 一、爬取目标 之前我分享过一篇[知乎评论的爬虫教程](https://www.cnblogs.com/mashukui/p/16622995.h ......
zos静态网站托管的使用和原理
zos静态网站托管是一种功能强大且方便的功能特性，此特性主要用于将静态网站的文件（例如HTML、CSS、JavaScript和图像文件等）存储在zos服务中，并通过互联网提供访问。下面将详细讲解其使用和原理。 ......
Python爬虫—破解JS加密的Cookie
在进行网站数据爬取时，很多网站会使用JS加密来保护Cookie的安全性，而为了防止被网站反爬虫机制识别出来，我们通常需要使用代理IP来隐藏我们的真实IP地址。 本篇文章将介绍如何结合代理IP破解JS加密的Cookie，主要包括以下几个方面： 1. 什么是Cookie 2. 什么是JS加密的Cooki ......
[FireDAC][Phys][IB]-312 Exact update affected [0] rows, while [1] was requested
中间件升级为64位后，原因在32位下无错的，在64位下会更新出错 为了统一数据一致性，updateModel=upWhereALL ，更新出现 [FireDAC][Phys][IB]-312 Exact update affected [0] rows, while [1] was requeste ......
关于scrapy爬虫的注意事项
1. 图片下载的设置 class ClawernameSpider(scrapy.Spider): # 定制化设置 custom_settings = { 'LOG_LEVEL': 'DEBUG', # Log等级，默认是最低级别debug 'ROBOTSTXT_OBEY': False, # de ......
java报错：unable to find valid certification path to requested target
## 问题发现 unable to find valid certification path to requested target 当我使用java代码访问某个URL的时候，报了这个错误，经过查询发现需要安装证书到java环境，所以记录一下。 ## 下载证书 我使用的是chrome浏览器，点击地 ......
Python爬虫爬取B站评论区
写了两天，参考其他大牛的文章，摸着石头过河，终于写出了一个可以爬B站评论区的爬虫，人裂了…… 致谢 : 致谢： [SmartCrane](https://www.cnblogs.com/smartcrane/p/13172825.html) [马哥python说](https://zhuanlan. ......
scrapy源码分析：redis分布式爬虫队列中，priority值越大，优先级越高
# scrapy源码分析：redis分布式爬虫队列中，priority值越大，优先级越高 # 一、背景 scrapy爬虫项目中，遇到scrapy的priority属性，搞不懂priority的值越大优先级越高，还是值越小优先级越高 ```python # 通过priority修改优先级 return ......
PHP的ICP备案信息查询接口，从网站内容中抓取
<?phpfunction get_icp_info($url) { // 使用 cURL 获取目标网站的 HTML 内容 $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNT ......
requests--post中json中文编码问题
## 问题 requests post 提交 json 数据时，默认在库中 `ensure_ascii` 为 `True`。会对中文进行 `unicode` 编码。 但是有的时候服务端并没有处理中文，没有进行解码，而我们又改不了服务端，就会出现问题！ ## 解决 修改库的代码，添加上对应的 ensu ......
C# CEFSharp WCF开发桌面程序实现“同一网站多开”
孔乙己显出极高兴的样子，将两个指头的长指甲敲着柜台，点头说：“对呀，对呀！CEFSharp，你用过么？访问同一网址实现多开怎么实现？比如我有3个淘宝店，我想同时登录维护，就像传说中的指纹浏览器那样实现cookie和session隔离？ ......
Python爬虫入门
# 前言 ## 网页构成 首先介绍一个网页的基本构成：HTML负责网页的结构，CSS负责样式的美化，Javascript负责交互逻辑。 >* HTML >* CSS >* Javascript 点击 F12打开开发者工具（部分电脑可能为Fn + F12）,使用元素选择工具，再将鼠标指针移动到任意网页 ......
周二 Request&Response
从苏州回河北，8.3上午到，标题进度不变在火车上没法学的会回家后补回来 package com.itheima.util; import org.apache.ibatis.io.Resources; import org.apache.ibatis.session.SqlSessionFactor ......
TDengine连接数满了报错:Connection is not available, request timed out after 30000ms.
#### 背景 使用tdengine时遇到一个情况,应用程序使用连接池将接收到的实时数据插入TD时, 会出现获取不到连接的报错. #### 重现 起一个模拟程序,发送100条数据到应用程序, 应用程序从批量插入改为逐条插入td, 重现出报错: ```java org.springframework. ......
推荐几个优秀的echarts图表网站
[ppchart](http://ppchart.com/#/) [makeapie](https://www.makeapie.cn/echarts) [madeapie](https://madeapie.com/#/) [MCChart](http://echarts.zhangmuchen. ......
Python-12-Python 虚拟环境与爬虫
12-1 虚拟环境的搭建 1. 为什么要搭建虚拟环境项目A需要在python2下运行，项目B需要在python3下面运行。项目A和B使用同一个包，但是项目A需要使用该包1.0版本，项目B需要使用2.0版本。那么创建虚拟环境可以解决包管理问题。 2. 搭建虚拟环境pip install pipenv ......