爬虫request网站
请求处理类 yii\web\Request
$request = Yii::$app->request; // 请求对象 // $request->enableCsrfValidation = false; //取消CSRF验证 $resolve = $request->resolve(); // 请求拆分 $getHeaders = $re ......
基于SpringBoot+Vue的音乐网站
本次项目是基于SpringBoot+Vue的前后端分离项目，旨在熟练相关框架，掌握相关技术，拓展个人知识面。 音乐来源：本地 用户页面：Web 项目亮点：根据歌词、音乐旋律、定位时间线（老师的意见） 确定好方向，开始项目、收集资料、准备相关的开发环境和软件等。 了解项目的结构与逻辑，确定基本功能，需 ......
类chatgpt备用网站
https://www.phind.com/ The AI search engine for developers. https://poe.com/ GPT4 and Claude 更新中 .... ......
Vue向服务端发送axios请求报错解决：AxiosError {message: 'Request failed with status code 403', ...}
Vue向服务端发送axios请求报错解决：AxiosError {message: 'Request failed with status code 403', ...} 登录界面点击提交向服务端发送用户名和密码，在Vue中用axios向服务端发送请求，一直显示403错误： 出现问题的前端请求代码如 ......
KEIL5--Error: L6915E: Library reports error: __use_no_semihosting was requested报错解决方法
__use_no_semihosting was requested：要求不使用半主机模式。 比较简单的一个解决方法就是点击“魔术棒” ，在Target标签下有个Use MicroLIB，勾选Use MicroLIB，再编译就不会报错了。 ”Use MicroLIB”，这是KEIL自带的一个简易的库 ......
爬虫利器：jsDOM
之前使用node做爬虫的时候，使用puppeteer来模拟浏览器，然后抓取信息，但是这样的效率和消耗太大了，所以需要一种更为效率的方法：直接使用axios来请求对应的url，然后通过jsDom,渲染成一个虚拟的html然后进行取值。 废话不多说直接上代码： 先安装jsdom npm i jsdom ......
如何使用nginx代理网站链接
代理单个地址 代理单个地址，意思是通过 nginx 配置之后，nginx 这边会配置出一个特定的地址，这个地址对应被代理的网站地址。 比如，网站分享后的地址是：http://192.168.31.165:81/abc/通过 nginx 代理后，该地址可被代理为：http://192.168.31.4 ......
Java+Selenium爬虫【流程】
1、首先，浏览器版本必须和selenium的jar包版本一致，浏览器安装好后，需要禁用浏览器的更新功能，防止版本更新导致后端代码运行异常。 2、然后，在数据库中创建爬取的爬虫目标表，里面的有如下字段：目标页面、目标元素标识、下一页标识、页码标识（可无）、总页数标识等，根据实际开发需要自行添加。另外开 ......
Python 爬虫 scrapy post请求 start_request()方法
scrapy post请求 以百度翻译为例： import scrapy import json class TransSpiderSpider(scrapy.Spider): name = "trans_spider" allowed_domains = ["baidu.com"] # start ......
关于python爬虫解析的问题
在进行Python爬虫解析时，需要注意以下事项： 1、良好的网站使用协议：需要遵守网站的robots.txt文件，以确保你的爬虫程序不会将网站拦截下来。 2、编码问题：需要正确设置HTTP头和解析器的编码，以确保爬虫程序能够正确地解析网站的信息。 3、数据解析：需要适当地处理HTML文档中的标签，以 ......
反爬虫的所有套路和策略
反爬虫是一种防止网络爬虫抓取网站内容的技术。为了保护网站的数据安全，网站管理员采用了各种策略来阻止或限制爬虫的访问。以下是一些常见的反爬虫策略和相应的例子： User-Agent 检查：检查请求头的 User-Agent 字段来识别爬虫。例如，如果 User-Agent 是一个非常规浏览器的标识符， ......
{‘error_code‘: 18, ‘error_msg‘: ‘Open api qps request limit reached‘}问题的解决
问题描述 按照网上的教程一步步来的，但是就是显示error，无法显示出理想的结果 问题解决 经过百度，发现这种问题就是人家官网不允许调用，需要付费使用； 然后我就去换了一个免费的接口来！（对，换了一个免费的接口） ......
各种无损音乐下载网站合集
网页版网站 51ape：http://www.51ape.com/ 这也是一个无损音乐下载网站，拥有大量的无损音乐歌曲，数量高达数10万。而且大部分格式的无损音乐几乎可以搜索到。此外，网站还根据本周、本月和专辑等分类。同时提供歌曲歌词。 无在线试听 http://music.38700.cn/ （r ......
【win10】requests出现InsecureRequestWarning
1、问题 使用Python3 requests发送HTTPS请求，verify=False 已经关闭认证情况下，控制台会输出以下warning 2、处理 import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureReques ......
python数据挖掘与分析实战__电子商务网站用户行为分析及服务推荐
import osimport pandas as pd # 修改工作路径到指定文件夹 os.chdir("D:/CourseAssignment/AI/CollectWebDate/") # 第一种连接方式 from sqlalchemy import create_engine engine = ......
Django框架——静态文件配置、form表单、request对象、连接数据库、ORM简介、ORM基本操作和语句
配置文件介绍 SECRET_KEY = '0yge9t5m9&%=of**qk2m9z^7-gp2db)g!*5dzb136ys0#)*%*a' # 盐 DEBUG = True # 调试模式, 等项目上线的时候，改成False # 配置数据库 DATABASES = { 'default': { ......
两天学会flask(四)---请求对象request（5分钟）
request是flask框架的全局对象，你可以通过它来获得当前进入的请求数据，如果是在多线程环境下，flask可以保证你所使用的request对象就是当前这个线程所处理的请求。 关于request，最让人感到疑惑的地方在于，明明是一个全局变量，在使用时却提供了当前时刻的请求数据，而且，不同线程之间 ......
数据结构绘图网站
数据结构绘图 1. 树 1.1 层次遍历 https://binary-tree-visualizer.vercel.app/ 输入格式 [5, 4, 6, null, null, 3, 7] 1.2 BST 和 AVL https://visualgo.net/zh/bst 创建，清空 插入 输入 ......
AI 网站收集
图片处理 Image To Prompt：根据你上传的图生成Prompt提示词 IconifyAI.com: AI 生成 logo 设计 Uizard io：快速原型制作工具，AI 可以毫不费力地生成最快的结果 sitekick.ai：登录页面构建工具 代码 codeium：代码提示工具 工具 Le ......
Host跨网段的ARP request
写得很清楚的文章：ARP协议在同网段及跨网段下的工作原理 对应的官方ARP文档：RFC 826 对文档的解读：详解RFC 826文档 ARP跨网段进行request包发送，需要先检测自身子网是否与对方相同，不同则先找到自己存有的默认网关信息，找到网关IP，如果缺失网关MAC，则先向网关发起reque ......
c# request
1、基础连接已经关闭： 处理：request.Abort(); response.Close(); System.GC.Collect(); request.ProtocolVersion = HttpVersion.Version10; 2、操作超时： 处理：System.Net.ServiceP ......
pyppeteer爬虫
import logging from os.path import exists from os import makedirs import json import asyncio from pyppeteer import launch from pyppeteer.errors import ......
ChatGPT：一个免费的AI聊天网站
ChatGPT是一个免费的AI聊天网站，可以让你和一台人工智能进行聊天。它使用OpenAI训练，可以回答各种问题，并可以帮助你锻炼英语口语和写作能力。ChatGPT通过与你交流，可以学习新的词汇和表达方式，并提高你的英语交流能力。如果你正在学习英语或想要放松一下，不妨去试试ChatGPT吧！ ......
vue全家桶进阶之路47：Vue3 Axios拦截器封装成request文件
可以将Axios拦截器封装成一个单独的request文件，以便在整个应用程序中重复使用。 以下是一个示例，展示如何将Axios拦截器封装成一个request文件： 1、创建一个名为request.js的新文件，并导入Axios： import axios from 'axios'; 2、创建一个名为 ......
Docker 部署前端静态网站
1 安装Docker（略） 2 拉取nginx镜像 docker pull nginx 3 创建文件目录 bev：静态网站名称 html：存放网站代码 nginx：存放nginx配置文件nginx.conf conf.d：存放配置文件default.conf logs：挂载nginx的日志 4 运行 ......
C# 爬虫 HttpClient 之 https 踩坑记录
###背景 有一个网页（https），请求返回是一串json，可通过模拟浏览器获取，也可以通过api请求获取，其中通过C#的httpclient的Get发起请求，会出现不定时的返回结果乱码 ####请求代码 [HttpPost(Name = "GetTestNoParams")] public as ......
request请求转发和请求重定向
用户向服务器发送了一次HTTP请求，该请求肯能会经过多个信息资源处理以后才返回给用户，各个信息资源使用请求转发机制相互转发请求，但是用户是感觉不到请求转发的。根据转发方式的不同，可以区分为直接请求转发(Forward)和间接请求转发(Redirect)两种。 直接转发方式（Forward） 客户端和 ......
Request请求参数中文乱码问题
###Tomcat8以下的默认编码格式是ISO-8859-1 ，8版本以上Tomcat已经把默认编码格式改为UTF-8,此篇博客主要是解决Tomcat8以下版本的中文乱码问题处理。 ##一、Request请求参数中文乱码-POST解决方案 请求参数如果存在中文数据，则会乱码 解决方案： POST：设 ......
【0基础学爬虫】爬虫基础之自动化工具 Selenium 的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为自动化工具 Selenium 的使用。 概述 目前，很多网站都 ......
Request通用方式获取请求数据
请求参数获取方式： 方法一： >Get方式： >POST方式： 思考：GET请求方式和POST请求方式 区别主要是在于获取请求参数的方式不一样，是否可以提供一种统一获取请求参数的方式，从而统一doGet和doPost方法内的代码。 ......