爬虫request网站
HTTP/1.1 Request/Response
https://www.w3.org/Protocols/rfc2616/rfc2616-sec5.html https://www.w3.org/Protocols/rfc2616/rfc2616-sec6.html Requests Header | Http Header Header解释示例 ......
如何构建响应式网站——开发人员的最佳实践
我们与网络交互的方式发生了翻天覆地的变化，而且还会不断变化。 过去，大多数人使用台式电脑上网。但如今，人们正在使用各种各样的设备，包括笔记本电脑、平板电脑和智能手机。这导致对响应式网页设计的需求不断增长。 响应式网页设计是一种设计方法，可确保网站在所有设备上看起来都不错并且功能正常。这是通过使用流畅 ......
玩转服务器之网站篇：新手使用WordPress搭建博客和静态网站部署
在之前的玩转服务器系列文章里，我们介绍了如何构建小型的高可用环境、PHP、Python、Java web、docker环境部署，以及Node.js SSR应用，本篇文章主要介绍新手也能快速上手的WordPress博客搭建和静态网站部署的教程 ......
关于云服务器中IE浏览器无法下载和登录网站的问题解决方案2
第一步：打开服务器管理器  第二步：点击 本地服务器-IE增强的安全配置 的“启动”按钮 ![](https://i ......
在https的网站里不小心嵌套了http的网址会发生什么？
https的http的区别 两者之间主要的区别在于安全性和数据传输方式 安全性：HTTPS通过SSL或者TLS协议来加密网络通信，确保数据在传输过程中的机密性和完整性。HTTP不提供加密，数据以明文形式传输，容易被窃听和篡改。 加密方式：HTTPS使用公钥和私钥解密的方式，实现客户端和服务器之间的安 ......
413 Request Entity Too Large
## 原因 这个问题是由于Nginx上传默认限制大小为1mb,如果包含过多的图片就会超出,需要手动修改nginx的配置 ## 操作 在linux服务上找到nginx的安装位置,在安装目录下面找到conf文件,下载到本地打开编辑,找到http{}位置,修改最大body大小 ``` http { inc ......
02 python爬虫-bs4
[TOC] ## 步骤 1. 爬取主页面中的文章详情的url和图片地址 2. 下载图片 并请求加文章详情中的页面内容 3. 爬取文章详情中的标题、作者、发布时间 ## 代码 ```python import requests import csv from bs4 import BeautifulS ......
爬虫-Python爬虫常用库
一、常用库 1、requests 做请求的时候用到。 requests.get("url") 2、selenium 自动化会用到。 3、lxml 4、beautifulsoup 5、pyquery 网页解析库 说是比beautiful 好用，语法和jquery非常像。 6、pymysql 存储库。操 ......
外国购物网站存在弱口令
网址：https://admin-demo.nopcommerce.com/admin/ 漏洞描述：一个购物网站，该网站存在弱口令，攻击者可直接登陆后台。 漏洞复现： 登陆界面直接输入即可 用户名: admin@yourstore.com 密码:admin 弱口令修复建议： 1.使用至少6位的数字、 ......
某外国购物网站存在漏洞
网址：http://test7.weeze.ru/prod_info.php?prodid=39&id=1 漏洞描述：Консервы外国购物网站存在sql注入漏洞，攻击者可利用该漏洞获取数据库信息。 漏洞复现：sqlmap工具 sql修复建议： 1)严格检查输入变量的类型和格式，对于整数参数，加判 ......
Turn.js网站移动端翻页功能
Html页面代码如下： <html> <head> <!-- content type --> <meta content="text/html; charset=utf-8" http-equiv="Content-Type"> <!-- viewport --> <meta content="w ......
Python的分布式网络爬虫
分布式爬虫其实就是指利用多台计算机分布式地从互联网上采集数据的一种爬虫。它可以把大规模的任务分解成若干小规模的，由多台计算机并行进行处理，大大提高了效率和速度。 分布式爬虫有很多优势：解决单机爬虫效率低的问题，分布式爬虫可以将任务分配给多个节点并行处理，大大提高了效率和速度。可以节省带宽和内存资源， ......
找到网站中的cookie
1.右键“检查” 2.选中 “application”: 3.点击“cookies”(这里的cookies是按照网站进行分类的) 4.cookie为key:value形式的组合： 4.cookie editor插件可以批量导出cookie，复制cookie ，粘贴cookie: export导出： ......
unable to find valid certification path to requested target
发生这种情况时， 很有可能与证书无关，而是某个第三方类库获取不到了 我的解决方案，找到原版本的AAR文件放到工程的LIBs目录中，引用到工程中 unable to find valid certification path to requested target 最新解决方案（更新于2023-04- ......
2023Java面试学习网站推荐
本文给大家推荐博主收藏的6个程序员面试学习站点，按照项目简介、网站截图、是否收费供大家参考。 # 1. JavaGuide 网站地址：https://javaguide.cn 项目简介：「Java学习 + 面试指南」一份涵盖大部分 Java 程序员所需要掌握的核心知识。准备 Java 面试，首选 J ......
GitHub+hexo部署静态网站
# 前言 > 由于有些文章可能过不了shen，有些大概率会挂，部署在GitHub当作备份 还有就是自己购买域名和服务器，搭建博客的成本实在是太高了，不光是说这些购买成本，还要定期的维护它， 对于大多数人来说，是没有这样的精力和时间 # 什么是 Hexo？ > Hexo 是一个快速、简洁且高效的博客框 ......
利用nginx反向代理功能将http网站改造成https
内网服务器10.0.0.4使用web应用是http，由于各种原因无法在10.0.0.4上将http升级至https 此时可以在另一台服务器10.0.0.3上部署nginx ,利用nginx的反向代理功能，将访问10.0.0.3的流量转发至10.0.0.4 同时将访问80端口的流量自动跳转至443 当 ......
【随手记录】Unable to create requested service [org.hibernate.engine.jdbc.env.spi.JdbcEnvironment]
链接数据库报错 Unable to create requested service [org.hibernate.engine.jdbc.env.spi.JdbcEnvironment] 出现这个问题基本是数据库的方言 dialect 或者驱动 driver_class有问题，可以确认下diale ......
用acme.sh给网站域名，申请免费SSL永久证书
安装acme.sh 1：在线安装方式 curl https://get.acme.sh | sh -s email=my@example.com 或者 wget -0 - https://get.acme.sh | sh -s email=my@example.com 这里的-s参数指定的邮箱可以关 ......
python selenium web网站登录缺口图片验证码识别
def login(): driver = webdriver.Chrome("browser_driver/chromedriver.exe") driver.get("http://xxxxxx/#/login") driver.maximize_window() sleep(1) driver ......
【爬虫+数据清洗+可视化】用Python分析“淄博烧烤“的评论数据
[toc] # 一、背景介绍 您好，我是[@马哥python说](https://mp.weixin.qq.com/s/EuOKLq6ZSgQGnijreylSiA) ，一枚10年程序猿。 自从2023.3月以来，"淄博烧烤"现象持续占领热搜流量，体现了后疫情时代众多网友对人间烟火气的美好向往，本现 ......
python爬虫 requests访问http网站之443报错（ssl验证）
报错信息： ``` urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='ssr4.scrape.center', port=443): Max retries exceeded with url: /page/1 (Caused b ......
网站换了一个域名后，突然访问起来变得很慢，是什么原因？
答：如果只是换了一个新域名，其它什么都没动，使得原来的网站访问变慢，有可能是该域名有解析到不存在的服务器Ip上，删除不存在的服务器ip即可恢复正常。 翻译 搜索 复制 ......
网站配置SSL证书后进入系统需要登陆两次问题处理
最近给网站配置了HTTPS，配置后发现系统需要登陆两次才能进入，而测试环境（没有配置SSL)没有这个问题,一通GOOGLE后问题解决了，这里记录一下： 如果网站配置 HTTPS SSL 证书后遇到了需要登录两次才能成功的问题，可能是由于缺少 cookie 安全标志导致的。 当启用 HTTPS SSL ......
Python网页爬虫代码
网页爬虫是一种自动化程序，可以自动地访问网页并提取其中的信息。它可以用于各种目的，例如搜索引擎的索引、数据挖掘、价格比较、舆情监测等。网页爬虫通常使用编程语言编写，例如Python、Java等。 以下是一个简单的示例，使用 Python 和 requests 库进行网页爬取： import requ ......
渗透--WordPress网站
WordPress简介WordPress是使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站。也可以把 WordPress当作一个内容管理系统( CMS )来使用。WordPress是一款个人博客系统，并逐步演化成一款内容管理系统软件，它是使用PHP语言 ......
渗透---WordPress网站
WordPress简介WordPress是使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站。也可以把 WordPress当作一个内容管理系统( CMS )来使用。WordPress是一款个人博客系统，并逐步演化成一款内容管理系统软件，它是使用PHP语言 ......
python爬虫入门
使用sublime text3 可以先保存文件，保存文件时，名字后缀需要添加.py 否则无法识别为Python文件 为方便命令行调用，文件名不用空格 可直接在文件夹内输入cmd快捷进入，shift+右键也可以 Tab补齐内容，↑历史记录 前端入门 html <>开始</>结束 head内一般是导入的 ......
在linux上搭建web服务(静态网站)
[toc] # 在linux上搭建web服务(静态网站) ## 一、简介 ### 1.1.什么是web服务器 - 万维网（www、Web）的简称，“World Wide Web”，是一个由许多互相链接的超文本（文档等）组成的系统，通过互联网访问。Web服务器一般指网站服务器 - 在这个系统中，每个有 ......
如何通过 request 寻找指定的文件
1.工具：notepad++ 2.步骤： 在发起请求时，查看请求的路径，找到对应的controller地址； 在notepat++中搜索，设置对应的参数； 再打开对应xml的文件，在其中就能发现该controller 的class;再去工程中查找， ......