爬虫request网站
网站创建003：body内容
一个网站当中， body是最重要的部分， 我们看到的大部分内容都是由body组成。 body标签的分类： *块级标签：此类标签内容会独占一行 *行内标签：不会独占一行，会根据内容大小自动占位 1、 div和span标签： div span 2、 h系列标签：h1到h6标签，也称之为标题。 h系列标签 ......
Java爬虫--HttpClient-Post请求
//下面是一个demo：package test; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.impl. ......
phpstudy部署简易的网站
网站的起源 web 1.0 纯静态网站 展示的数据就是网站源码中的数据 不能够具备利用攻击手段获得数据，但是可以拒绝式服务攻击 web 2.0 动态网站 有数据库，网站数据放置在数据库中 具备攻击 获取数据 网站使用的协议 协议 http 超文本传输协议 应用层协议 用来传输web网页数据 无状态协 ......
网站创建002：head内容
一个html网站，包括html根、head头、body身体 首先来看head，head操作的是页签标题，如下 1、给head添加图标，如下 <link rel="icon" href="C:\Users\86158\Desktop\网站创建\favicon.ico"> 2、给网站添加搜索关键字，可以 ......
Kubernetes——查询并导出业务deployment/statefulset的request.cpu、request.mem和limit.cpu和limit.mem资源
查询并导出业务deployment/statefulset的request.cpu、request.mem和limit.cpu和limit.mem资源 #!/bin/bash # Retrieve all namespaces (excluding default, kube-system, and ......
爬虫各种问题总结方案
### selenium报错 - selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable 可能是代码中没有全屏，元素没有加载全 ``` baiduweb = webdr ......
nginx的keepalive和keepalive_requests(性能测试TPS波动)
当使用nginx作为反向代理时，为了支持长连接，需要做到两点： 从client到nginx的连接是长连接 从nginx到server的连接是长连接 保持和client的长连接： http { keepalive_timeout 120s 120s; keepalive_requests 10000; ......
干货网站
## 产品拆解类 https://www.52audio.com/ https://space.bilibili.com/427494870/video https://www.cirmall.com/articles/list-teardown ## 方案查询类 https://www.taoba ......
常用网站--MQTT
Easy-to-Use Online MQTT Client | Try Now (emqx.io) 调试工具 MQTT 协议入门：基础知识和快速教程 | EMQ (emqx.com) 开发文档 http://api.easylink.io/tools/mqtt/ SSL状态检测 (myssl.co ......
常用网站--Python
模块 - 廖雪峰的官方网站 (liaoxuefeng.com) 廖老师文档 Python3 教程 | 菜鸟教程 (runoob.com) 菜鸟教程文档 内置函数 — Python 3.11.4 文档 官方文档 Python 速查手册 - 知乎 (zhihu.com) 速查手册 中国大学MOOC(慕课 ......
直播网站源码，cover-view 中button 设置宽度无效
直播网站源码，cover-view 中button 设置宽度无效 <cover-view class="btns"><button class="btn" bindtap="addCartSureBtn">确定</button><button class="btn" bindtap="hideMod ......
requests
```python import requests import re url = 'https://www.baidu.com' # get 方法是发送一个 get 请求，url 是关键字参数，表示请求的地址 # response 是一个响应对象，包含了服务器返回的所有信息 headers = { ......
Scrapyd、scrapyd-client部署爬虫项目
命令参考：[https://github.com/scrapy/scrapyd-client](https://github.com/scrapy/scrapyd-client) [https://scrapyd.readthedocs.io](https://scrapyd.readthedocs ......
Scrapy框架爬取HTTP/2网站
scrapy本身是自带支持HTTP2的爬取： [https://docs.scrapy.org/en/latest/topics/settings.html?highlight=H2DownloadHandler#download-handlers-base](https://docs.scrapy ......
Scrapy如何在启动时向爬虫传递参数
**高级方法：** **一般方法：** 运行爬虫时使用-a传递参数 ```Bash scrapy crawl 爬虫名 -a key=values ``` 然后在爬虫类的__init__魔法方法中获取kwargs ```Python class Bang123Spider(RedisCrawlSpid ......
Scrapy-CrawlSpider爬虫类使用案例
CrawlSpider类型的爬虫会根据指定的rules规则自动找到url比自动爬取。 优点：适合整站爬取，自动翻页爬取 缺点：比较难以通过meta传参，只适合一个页面就能拿完数据的。 ```Python import scrapy from scrapy.http import HtmlRespon ......
Scrapy如何在爬虫类中导入settings配置
假设我们在settings.py定义了一个IP地址池 ```Bash ##### 自定义设置 IP_PROXY_POOL = ( "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", ) ``` 要在爬虫文件中 ......
Scrapy-redis组件，实现分布式爬虫
安装包 ```Python pip install -U scrapy-redis ``` settings.py ```Python ##### Scrapy-Redis ##### ### Scrapy指定Redis 配置 ### # 其他默认配置在scrapy_redis.default.py ......
Scrapy爬虫文件代码基本认识和细节解释
```Python import scrapy from scrapy.http.request import Request from scrapy.http.response.html import HtmlResponse from scrapy_demo.items import Forum ......
Scrapy创建项目、爬虫文件
# 创建项目 **执行命令** ```Bash scrapy startproject ``` # **项目结构** : url = "http://www.baidu.com" resp = requests.get(url) print(resp) # 打印时会发现乱码 # 因为resp默认是自动推算编码的，经 ......
chrome在各个网站上保存的密码，突然消失不见
chrome在密码管理页面会显示已经保存密码的网站，但是突然有一天，这里保存的网站消失不见了。打开网站也不自动显示填充密码，处理方法： 1. 新标签页打开：chrome://flags/ 2. 找到 "Passwords Import xxxxx"并设置为 Enabled 3. 重启浏览器 ......
如何从Altium Designer官方网站下载元件库-转载
如何从Altium Designer官方网站下载元件库_ad官网下载元件库_睿思派克的博客-CSDN博客 画PCB没有元件库怎么办？可以查官方手册，一个引脚一个引脚画上去，生成元件库。也可以去下载Altium官方元件库。 1. AD10之前的“冷冻库” 进入 http://wiki.altium.c ......
Python | requests库
## 一、 基本概念 ### 1、 简介 requests 模块是 python 基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习 ......
Python报错 | 关于requests.exceptions.SSLError解决方案
学习爬虫遇到的错误。 **报错信息：** ```python requests.exceptions.SSLError: HTTPSConnectionPool(host=’*****’, port=443): Max retries exceeded with url: / (Caused by ......
爬虫 | <Response [418]>原因
在我们调用`requests.get(网址)`访问网页时，输出为``。是什么原因呢？ 如下运行代码： ```python # 导入访问网页要用的库 import requests # 申明一个变量存储网址 # 网址是一个字符串变量，注意网址前后都必须有引号 url = 'https://movie. ......
使用python在视频流网站下载ts视频流并合并为完整视频
#!/usr/bin/python #encoding:utf-8 import urllib.request import os import ssl #add line 1 ssl._create_default_https_context = ssl._create_unverified_co ......