爬虫request网站
python爬虫抓取小说
我这里是使用的**requests**模块和**re**(正则)模块 可以模仿浏览器正常访问网页返回网页源码的方式，通过正则获取到小说的名字，以及每个章节名称和对应的网页链接，并将小说正文截取出来，写入到文本中，具体代码实现如下： ``` # 导入requests模块 import requests ......
免费的网站推广方法 18种
网站推广分为付费与免费两种方式，济南久联网络科技有限公司根据多年经验，为您分享18种免费的网站推广方法（18种最有效推广的方式），欢迎阅览。（全文450 1、SEO优化 众所周知，网站推广分为站内优化与站外推广两个方面，其中，站内优化为基础，站外推广为辅助，两者缺一不可。首先来看站内优化。站内优化又 ......
Python的requests库调用gpt3.5
1. 注册ChatGPT API，放到key里 2. 安装requests库 3. 发送API请求 4. 其他API调用方式 除了使用Python库进行API调用之外，你还可以使用其他编程语言或命令行工具进行API调用。具体的调用方式可以参考ChatGPT官方文档中的API参考。 import re ......
SAP ABAP 函数 TR_REQUEST_CHOICE
`TR_REQUEST_CHOICE` 是 SAP ABAP 中的一个函数模块，它用于在系统中处理传输请求。传输请求是 SAP 系统中的一个重要概念，它用于管理和控制系统中对象的传输。这些对象可以是程序、表、视图等。 `TR_REQUEST_CHOICE` 函数模块提供了一种界面，允许用户在系统中选 ......
网站搭建流程分享
购买服务器(新人都有免费的)–>去控制台到实例管理里重置实例密码–>回到概况点击远程连接，然后输入刚刚设置的密码–>去宝塔官方复制Linux面板的安装脚本(看操作系统进行选择)–>粘贴到远程连接台–>安装完成后输入bt 14查看地址和账号和记住端口–>安全组添加ATP对应端口和80端口–> 登录宝塔 ......
java拦截器获取POST请求体后Controller异常Required request body is missing OR Stream closed
解决办法参考文档：https://blog.csdn.net/qierkang/article/details/88544691 springboot拦截器获取POST请求体后导致Controller中@RequestBody参数异常Required request body is missing ......
入门开发教程之网站品质教程
入门开发教程之网站品质教程 目录 网站品质 教程 网站品质教程 背景 要素 可访问性 可用性 可靠性 可维护性 提升网站品质 针对性调整 优化网页速度 提供多种访问方法 结论 编辑 网站品质 教程 网站品质教程 背景 在今天这个数字化时代，网站已经成为了各个行业展示产品和服务的重要媒 ......
「爬虫04」selenium
## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_ ......
挂标的定义，中文域名，一个网站可不可以同时拥有英文和中文两个域名
学到一个新词，挂标，查了下解释： 挂标，挂网站标识，是指网站通过向中文官方网站认证中心COWCC申请官方网站认证，对其真实性、合法性、优劣性的认证核实，鉴定为“认证官网”“品牌官网”“知名官网”，由COWCC统一授予“官方网站认证标志”，建立网站与网民的信任纽带。网站挂标已经成为网民识别、信任、认可 ......
dede网站搬家及完整换空间操纵方法
1.在新空间中安装一份 和 你正在运行的 程序同版本的 织梦程序 注意安装的时候 数据库的前缀一定要和 正在运行的网站的 前缀一样 默认是dede_ 如果以前安装的时候 你没有改过的话 不比 理会 2.进入正在运行的网站 后台——系统——数据库备份/还原， 进行数据库的备份操作 3.将老空间中的 d ......
分享几个可以在线给网站截图的网站
截图工具种类繁多，其中也不乏优秀的免费产品。但总有些时候，在用的电脑上并没有安装任何截图软件。如果突然需要截一张网页的截图，又不想去下载、安装软件，那么你可能就需要记住下面的几个网站中的一个。 1、thumbalizr：http://www.thumbalizr.com/ 可以输出多种尺寸的略缩图， ......
Python爬虫突破验证码技巧 - 2Captcha
在互联网世界中，验证码作为一种防止机器人访问的工具，是爬虫最常遇到的阻碍。验证码的类型众多，从简单的数字、字母验证码，到复杂的图像识别验证码，再到更为高级的交互式验证码，每一种都有其独特的识别方法和应对策略。在这篇文章中，我们将一一介绍各种验证码的工作原理和使用[2Captcha](https://... ......
使用requests及lxml爬取教程示例
很多教程网站都是静态html，爬取起来相对容易，使用requests请求页面后把响应内容保存为html文件即可。 一般爬取步骤如下： 1. 从首页解析出课程列表，包含课程标题和URL链接 2. 请求课程页面，解析出文章列表，包含文章标题和文章URL链接 3. 请求文章页面，将响应内容保存为html文 ......
dede开启网站绝对路径后软件下载地址出错
今天教大家如何解决（织梦CMS启用绝对网址后，下载页面的软件下载地址出错）织梦开启绝对路径后软件模型，下载地址填https://开头的，调用出来会显示 域名+https://网址，如下图网址解决方法：1、打开 /plus/download.php 找到 大概在 147行 if(!preg_match ......
使用iis部署个人网站后同一个局域网中无法访问解决办法
在我部署号网站以后，设置了特定端口，自己电脑可以访问，但是同事电脑无法访问我的网站。这个问题是没有开启入站端口 下面是开启入站端口的方法 方法/步骤 1 回到桌面，右键单击计算机选择属性，如下图所示 2 属性面板点击控制面板主页，如下图所示 3 控制面板点击系统与安全进入， 如下图所示 4 系统安全 ......
【爬虫案例】用Python爬取知乎热榜数据！
[toc] # 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是：[知乎热榜](https://www.zhihu.com/hot)  that you can simply download as a zip archive and extract into a location of ......
内网自建speedtest测速网站
简介： 内网网速测试，需要找个方便的解决方案。 一：作者 https://github.com/librespeed/speedtest adolfintel/speedtest - Docker Image | Docker Hub 二：docker-compose.yaml version: ' ......
Win7系统快速搭建属于自己的网站-静态网页
前言 之前小编带大家搭建过一个服务器，但是一直没带大家搭建过网站，这就相当于食堂阿姨只给大家打了饭而没有打菜，今天小编就替阿姨给诸位小伙子加点菜。 一、开启IIS6服务 这个我相信大家都会了，控制面板 程序和功能 打开或关闭Windows功能，如图： 然后我们重启电脑，这样设置才能生效。 二、设置A ......
安全网站相关，漏洞修复
[TOC] # 站点类 ## X-Frame-Options头未设置 整改建议： 修改web服务器配置，添加X-frame-options响应头。赋值有如下三种： （1）DENY：不能被嵌入到任何iframe或frame中。 （2）SAMEORIGIN：页面只能被本站页面嵌入到iframe或者fra ......
函数：随机生成User-Agent 字符串，用于模拟不同的浏览器和操作系统类型，增加爬虫的隐蔽性
1 def get_ua(self): 2 first_num = random.randint(99, 103) 3 third_num = random.randint(0, 5060) 4 fourth_num = random.randint(0, 140) 5 os_type = ['(W ......
「爬虫03」bs4&selenium
## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的[xml包含html,html是xml的一种] html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 G ......
深入了解爬虫原理
HTTP/1.1方法 HTTP1.0中，只有GET和POST，没有其他方法，如果是新网站是可以获取内容 head命令只能返回头部部分，类似于Ping测试网址是否连通 put只能上传最新的内容,patch局部修改 主要是get和Post HTTPS多实现一层S，五层中，最上面是应用层，然后是多出来的安 ......
直播网站源码，修改el-table滚动条样式
直播网站源码，修改el-table滚动条样式 原生滚动条修改方式： /* 滚动条公共样式 */ /*定义滚动条高宽及背景 高宽分别对应横竖滚动条的尺寸*/::-webkit-scrollbar { width: 8px; height: 8px;} /*定义滚动条轨道 内阴影+圆角*/::-webk ......
使用you-get下载视频网站的各种视频
第一步安装python，因为you-get是用python写的，需要python的环境支持。 1.1 到https://www.python.org/downloads/下载，直接点那个Download Python x.x.x下载最新版即可，像这样： 作者：达叔傻乐 链接：https://www. ......
nginx部署vue网站
1.背景 最近gpt很火，于是尝试用gpt来进行古诗词取名，做了一个vue的网站进行展示，第一次部署，踩了一些坑。 2.实施 nodejs安装： 在任意目录执行如下命令进行安装包下载：wget https://npm.taobao.org/mirrors/node/v14.17.6/node-v14 ......
如何将网站保存为手机app
# 1.打开目标页面（hangyejingling.cn）  # 2.点击该按钮 ，一名10年程序猿。 本次爬取的目标是: [微博热搜榜](https://s.weibo.com/top/summary?cate=realtimeho ......
shell脚本-批量检查网站是否异常
# shell脚本-批量检查网站是否异常 > - 200 - 请求成功 > - 301 - 资源（网页等）被永久转移到其它URL > - 404 - 请求的资源（网页等）不存在 > - 500 - 内部服务器错误 > > 通过获取状态码检查网站是否正常 但是这种方式不太好直接取出状态码 > > > ......