爬虫 部分 内容
【python爬虫课程设计】掌上高考——高校数据爬取+数据可视化
一、选题的背景 选择此选题是因为掌上高考是一个提供本科院校信息的网站，通过爬取该网站的数据，可以获取到各个本科院校的相关信息，如学校名称、所在地、专业设置等。通过对这些数据进行分析和可视化，可以帮助学生更好地了解各个本科院校的情况，为他们的升学选择提供参考。预期目标是通过数据分析，找出各个本科院校的 ......
某居客页面爬虫
支持2023版本，每过一段时间会有验证码验证，脚本会提醒手动输入，爬虫本身不会进行验证码处理（可自行扩展）。 pip前置安装项： pip install logzero pip install bs4 pip install requests pip install html5lib pip ins ......
关于密码哈希算法BCrypt的编码结果各部分意义分析及其他注意事项
找到一个英文的解析: The bcrypt standard makes storing salts easy - everything it needs to check a password is stored in the output string. The prefix "$2a$" or ......
MoeCTF西电新生赛部分WP
MoeCTF2023 一.Misc 1.Misc入门指北： bW9lY3Rme2hAdjNfZnVuX0B0X20xNWNfIX0= 一看就知道是base64解码： moectf{h@v3_fun_@t_m15c_!} 得到flag:moectf{h@v3_fun_@t_m15c_!} 2.打不卡的 ......
爬虫作业
一、请用requests库的get()函数访问如下一个网站２０次，打印返回状态，text()内容，计算text()属性和content属性所返回网页内容的长度。（360搜索主页） import requests url = 'https://www.so.com/' for i in range(2 ......
ISCTF2023部分WP
write-up: 战队：来日方长 赛道：进阶赛道 队长：张伟文 队员：结局别在遗憾Zn. WEB: 圣杯战争!!!（题解：结局别说遗憾Zn.） 解题思路：打开题目链接，代码如下： <?php highlight_file(__FILE__); error_reporting(0); class a ......
爬虫单元作业
（２）请用requests库的get()函数访问如下一个网站２０次，打印返回状态，text()内容，计算text()属性和content属性所返回网页内容的长度。（不同学号选做如下网页，必做及格） import requests url = "https://www.baidu.com/" for ......
Excel poi 设置单元格格式 发现不可读内容 已修复的记录: /xl/worksheets/sheet1.xml 部分的问题（巨坑）
Excel poi 设置单元格格式 发现不可读内容 已修复的记录: /xl/worksheets/sheet1.xml 部分的问题（巨坑） 1.先设置值，后设置样式。 正确的是：先设置样式，后设置值。2.对象A的样式应用于对象B的样式，导致报错。 正确的是：对象A应用对象A的样式，对象B应用对象B的 ......
操作系统大作业：在Linux环境下模拟实现简单命令解释器（文档部分）
一、 课程设计（大作业）具体内容 3.1 程序概述 已完成一下命令 pwd //显示当前所在目录的路径名 list <目录名> //列出指定目录名中的所有目录及文件 modifydir <目录名或路径> //改变当前工作目录 makedir <目录名> //新建目录 deldir <目录名> //删 ......
操作系统大作业：在Linux环境下模拟实现简单命令解释器（代码部分）
好家伙 1. 题目要求 一、 课程设计（大作业）目的 熟悉Linux编程环境，加强对Linux命令的理解及函数的运用，完成一个操作系统的部分系统的设计过程、编码、调试，锻炼实际应用能力。 二、 课程设计（大作业）具体要求 2.1 课程设计题目 在Linux环境下模拟实现简单命令解释器。 (1)要求实 ......
Selenium 爬虫
from pixiv 相关资料 官网 官网使用介绍 可能会遇到的问题:selenium.common.exceptions.WebDriverException: Message: Can not connect to the Service chromedriver.exe while openi ......
软件安全测试包含哪些测试内容？专业测试机构常用的测试方法有哪些？
编辑 软件测试的方法 软件安全测试是为了评估和验证软件系统中存在的潜在安全漏洞和风险而进行的一系列测试活动。它的目的是发现和修复软件系统中的漏洞，以确保系统的安全性和可靠性。 一、软件安全测试包含以下几个主要内容： 1. 静态代码分析：通过检查源代码或二进制文件来发现潜在的安全漏洞，如缓冲区 ......
AIKit v4.11.0 – WordPress AI 自动编写器、聊天机器人、写作助手和内容重定向器 / OpenAI GPT 插件
AIKit v4.11.0：WordPress的AI革命 一、引言 AIKit v4.11.0是一款为WordPress用户精心设计的强大插件，该插件集成了OpenAI的GPT-3技术，为用户提供了前所未有的AI写作和聊天机器人功能。此版本的推出，将WordPress的功能扩展到了全新的领域，利用人 ......
java md5图片内容加密
在Java中，你可以使用Java的内置类来生成MD5哈希值。下面是一个示例，展示了如何使用Java将图片内容进行MD5加密： import java.io.*; import java.security.*; public class ImageToMD5 { public static void ......
python 实现图片内容md5加密
图片内容可以通过MD5进行加密，但是请注意，MD5并不适合用于加密敏感信息，因为它容易受到碰撞攻击。这里是一个使用Python的hashlib库进行MD5加密的示例： import hashlib import io def get_md5(img_path): # 打开并读取图片文件 with o ......
关于uniapp设置头部固定，内容区域滚动，不同手机显示表现不一致的问题
问题 若固定了头部元素区域高度，比如固定的rpx，vh等，在其他手机中可能出现部分空白，导致界面不协调。我的解决方案是自动计算出头部区域元素的高度，让内容区域自动设置外边距 方案 使用了 unaipp提供的 uni.createSelectorQuery() 方法来获取头部区域的高度。首先，通过 r ......
Python3.12新增内容
https://medium.com/techtofreedom/5-handy-python-3-12-new-features-that-improve-your-coding-experience-fe2d6e1f05b4 类型系统，更方便的类型别名声明方式 简便的类型别名声明 我们可以直接如 ......
duxcms内容页 当前栏目名称和链接 标签
duxcms内容页 当前栏目名称和链接 标签 {$category.curl} 当前栏目链接 {$category.name} 当前栏目名称 {$parent_category.字段} 当前内容所属栏目的上级栏目信息调用 {$top_category.字段} 当前内容所属栏目的顶级栏目信息调用 示例 ......
python爬虫
HTTP协议HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。（无状态指的是第一次请求与第二次请求之间并没有相关的关联，应用层协议指的是该协议工作在TCP协议之上） HTTP协议采用URL作为定位网络资源的标识，URL格式如下： http://host[:port][path] PATCH ......
CS自学指南一部分的归纳
必学工具 vim编辑器 emacs编辑器 进阶，git github开源社区 GNU Make提升效率 Cmake更抽象 让排版自动专业Latex 轻量级虚拟机docker 配环境节省时间scoop 日常工作学习流 Obsidian ,其中Annotator笔记能跳转到原文，Anki生成卡片链接 电 ......
笔记- springboot 达成jar包后获取resources目录下文件内容
使用hutool里面的工具类获取： String json = ResourceUtil.readUtf8Str(JSON_PATH); 官方解释：https://doc.hutool.cn/pages/ResourceUtil/#%E4%BB%8B%E7%BB%8D ......
ISCTF2023部分题解
WEB: 圣杯战争 !!! （题解：结局别说遗憾 Zn. ） 解题思路：打开题目链接，代码如下： <?php highlight_file(__FILE__); error_reporting(0); class artifact{ public $excalibuer; public $arrow ......
爬虫数据存储
前言：通过爬虫解析出网页数据之后，就要对数据进行存储。保存的形式多种多样，最简单的形式是保存为文本形式，如TXT、JSON、CSV、XLSX等。另外还可以保存在数据库之中，如关系型数据库MySQL，非关系型数据库MongoDB、Redis等。 一、文件储存 1、TXT文本储存 将数据保存为TXT ......
查找某个文件里面的文本内容
查找某个文件里面的文本内容： find /usr/local/include/ -name "*.h" | xargs grep "LoadFile" ......
[问题记录] C# 使用NPOI操作Excel模版写入数据 - 生成文件打开时提示 "发现 XXX.xlsx 中的部分内容有问题..."
解决方案： 1.先确保原来的模版文件打开是正常的，没有提示要恢复 2.用Office打开这个模版文件，另存为一个文件。用这个文件来作为模版使用。 问题描述： 使用C# NPOI 操作Excel模版 （模版用office打开是正常的），写入数据 ， 导出的文件打开时提示是否尝试恢复 ，点击 “是” 后 ......
python批量给文本文件txt内容添加特殊符号等内容：---------------------------------------python添加特殊字符
python脚本内容如下： # 导入需要使用的模块import osimport tkinter.filedialogfn = tkinter.filedialog.askopenfilename(title='选择了一个文件',filetypes=[('文本文件','.txt'),('所有文件', ......
爬虫及js相关部分内容
爬虫 websocket 直播弹幕抓取逆向分析流程总结 websocket,flash chrome插件 添加了有道生词本的 chrome google翻译扩展和有道翻译扩展 js提取auth taobao账号auth web自动化 新浪账号自动化刷新 headless puppeteer抓取微指数 ......
技术写作与内容研究：主题得分、关键词搜索量、社区和论坛策略
内容研究 内容研究涉及对特定主题进行系统的调查，以收集可靠和相关的信息。这个过程对于技术作者来说至关重要，因为它有助于生成有价值的、准确的、信息丰富的和引人入胜的内容。它超越了基本的互联网搜索，包括阅读技术文档、采访专家、进行调查和分析数据。内容研究应以战略方式进行，考虑信息的用途、目标受众和要传达 ......