爬虫 语言 网络
爬虫-今日头条我的收藏-增量式（二）
背景： 能够全量爬取今日头条我的收藏内容之后，新收藏的内容依然希望能够保存到新文件中。 思路： 每次都全量爬取太耗时，增量式爬取节省时间。 取消收藏的影响：爬虫旧文件用户收藏的链接有可能被取消收藏。所以在断点位置的判断上考虑取连续100条的我的收藏id作为判断基准，这样即便用户偶尔取消收藏几条，依然 ......
R语言离散时间马尔可夫链（Markov chain）模型分类案例可视化分析
全文链接：https://tecdat.cn/?p=34576 原文出处：拓端数据部落公众号 有许多用于马尔可夫链的复杂应用。这些包括用于将多态模型拟合为面板数据的msm和SemiMarkov，用于生存分析应用的mstate，用于估计3状态进行性疾病模型的转移概率的TPmsm，用于将马尔科夫模型应用 ......
基于深度学习网络的疲劳驾驶检测算法matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 3.1疲劳检测理论概述 疲劳检测的原理是根据人体疲劳状态下的特征检测，和正常状态下的特征检测做对比。在做疲劳检测之前，首先需要分析人体在疲劳状态下与正常状态下的特征有哪些不同的的表现，这些不同的表现可以通过哪些数 ......
为什么大多数语言都不支持LINQ机制？
C# 3.0可以说是C#历史上最大的一次改动，从语言到库的层面可以说是做了革命性的变化，单单是上下文关键字，就一次性新增了from、where、select、group、by、join、equals、on、let、order、into、asscending、descending一大堆，加上原有的in ......
计算机网络第四章部分题目解析，202页
网络层向上提供的服务有哪两种？试比较其优缺点 面向连接的服务（Connection-Oriented Service）： 优点： 可靠性高： 通过建立连接、传输数据、最后释放连接的过程，可以保证数据的可靠性。 有序性： 数据传输是有序的，不会乱序到达。 流量控制： 可以通过连接的建立和释放来控制流量 ......
C 语言：类型转换与常量的细致理解
C 语言中的类型转换 有时，您必须将一种数据类型的值转换为另一种类型。这称为类型转换 隐式转换 当您将一种类型的值分配给另一种类型的变量时，编译器会自动进行隐式转换。 例如，如果您将一个 int 值分配给一个 float 类型： // 自动转换：int to float float myFloat ......
python123——爬虫作业
用requests库的get()函数访问百度主页２０次 import requests url = 'https://www.baidu.com' for i in range(20): response = requests.get(url) response.encoding = 'utf-8' ......
【python爬虫课程设计】纵横中文网——分类数据爬取+数据可视化
一、选题的背景 通过新书榜和推荐榜来分析小说分类和人气之间的关系，让作者能加了解读者的需求,写出令读者感兴趣的题材来吸引读者。热门的小说分类是社会文化普遍认可的体现，了解和分析社会文化对于提升和改善社会文化起着重要作用。了解热门小说分类让新人作者选择题材时有份参考，以至于写出的小说分类偏门而鲜有人关 ......
2023年国家基地“楚慧杯”网络安全实践能力竞赛初赛-Crypto+Misc WP
Misc ez_zip 题目 4096个压缩包套娃 我的解答： 写个脚本直接解压即可： import zipfile name = '附件路径\\题目附件.zip' for i in range(4097): f = zipfile.ZipFile(name , 'r') f.extractall( ......
大语言模型微调数据竞赛，冠军！
近日，天池FT-Data Ranker竞赛落下帷幕，天翼云智能边缘事业部AI团队（后称天翼云AI团队）凭借在大语言模型（LLM）训练数据增强方面的卓越研究，荣获大语言模型微调数据竞赛——7B模型赛道冠军。 ......
【K哥爬虫普法】北京某公司惨遭黑客攻击13000000余次，连夜报警……
我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。 案情介绍 “我啥也妹干呐，那家伙上来就给我 ......
聊聊神经网络的优化算法
优化算法主要用于调整神经网络中的超参数，使得训练数据集上的损失函数尽可能小。其核心逻辑是通过计算损失函数对参数的梯度（导数）来确定参数更新方向。 SGD Stochastic Gradient Descent(随机梯度下降法)：随机梯度下降算法是一种改进的梯度下降方法，它在每次更新参数时，只随机选择 ......
大语言模型与传统机器学习的架构差异性解析
在人工智能领域，架构设计是决定一个模型性能和应用范围的关键因素。大语言模型和传统机器学习有不同的设计框架，使得它们在应用场景和处理任务上具有显著差异。大语言模型，如GPT和BERT，基于庞大而复杂的神经网络结构构成，这些神经网络结构拥有数百万甚至数十亿的参数，能够学习和理解大量的数据，尤其是在处理自 ......
P2P网络下分布式文件共享场景的测试
P2P网络介绍 P2P是Peer-to-Peer的缩写，“Peer”在英语里有“对等者、伙伴、对端”的意义。因此，从字面意思来看，P2P可以理解为对等网络。国内一些媒体将P2P翻译成“点对点”或者“端对端”，学术界则统一称为对等网络(Peer-to-Peer networking)或对等计算(Pee ......
网络编程之IO模型
我们讨论网络编程中的IO模型时，需要先明确什么是IO以及IO操作为什么在程序开发中是很关键的一部分，首先我们看下IO的定义。 IO的定义 IO操作（Input/Output操作）是计算机系统中的一种重要操作，用于数据的输入和输出，通常涉及到计算机与外部设备（如硬盘、网卡、键盘、鼠标、打印机等）之间的 ......
大语言模型的参考文档
OpenAI中文文档：https://openai.xiniushu.com/ OpenAI中文文档：https://www.openaidoc.com.cn/ LangChain中文文档教程：https://www.langchain.asia/ OpenAI在线接口调试平台：https://op ......
神经网络优化篇：机器学习基础（Basic Recipe for Machine Learning）
机器学习基础 下图就是在训练神经网络用到的基本方法：（尝试这些方法，可能有用，可能没用） 这是在训练神经网络时用到地基本方法，初始模型训练完成后，首先要知道算法的偏差高不高，如果偏差较高，试着评估训练集或训练数据的性能。如果偏差的确很高，甚至无法拟合训练集，那么要做的就是选择一个新的网络，比如含有更 ......
linux防止常见的网络攻击
什么是syn，ddos，ping SYN (Synchronize)： 在 TCP（传输控制协议）中，SYN 是握手过程的一部分。当客户端尝试与服务器建立连接时，它发送一个带有 SYN 标志的数据包。服务器收到 SYN 数据包后，通常会回复一个带有 SYN 和 ACK（确认）标志的数据包，表示接受连 ......
基本爬虫方法手册
一、requests库方法（部分） 1、会话维持 在Python爬取页面时，有一些页面需要登录才能访问，requests库中有两种方式可以解决这个问题。 # 第一种方式Cookie import requests headers = { 'Cookie':'....'， 'Host':'.... ......
2023年国家基地“楚慧杯”网络空间安全实践能力竞赛 Wp 一点WP
MISC ez-zip 使用脚本解套娃压缩包 import io import zipfile with open("4096.zip", "rb") as f: data = f.read() info = "666" while True: with zipfile.ZipFile(io.Byt ......
实验6 C语言结构体、枚举应用编程
实验任务4： #include <stdio.h> #define N 10 typedef struct { char isbn[20]; // isbn号 char name[80]; // 书名 char author[80]; // 作者 double sales_price; // 售价 ......
实验6 C语言结构体、枚举应用编程
task1 1 // P286例8.17 2 // 对教材上的程序作了微调整，把输出学生信息单独编写成一个函数模块 3 // 打印不及格学生信息和所有学生信息程分别调用 4 5 #include <stdio.h> 6 #include <string.h> 7 #define N 3 // 运行程 ......
2023-2024-5 20232419《网络空间安全导论》第6章预习总结
应用安全基础 应用安全概述 总结：应用安全覆盖了生活的方方面面。 身份认证与信任管理 隐私保护 云计算和安全 区块链和安全 人工智能和安全 基于AI的学习 思考：又多了一堆不知道哪来的名词，也没有前文解释很不方便。 ......
实验6 C语言结构体、枚举应用编程
1、实验1 运行结果 2、实验2 源代码 1 #include <stdio.h> 2 #include <string.h> 3 #define N 10 4 #define M 80 5 6 typedef struct { 7 char name[M]; // 书名 8 char author ......
2023-2024-1 20232421邓锴 《网络空间安全导论》 第6周学习总结
教材学习总结 思维导图 教材学习中的问题和解决问题 问题1： 问题1解决办法： 问题2： 问题2解决办法： 问题3： 问题3解决办法： 基于AI的学习 思考 参考资料 《网络空间安全导论》 ......
streamlit 网络批量ping和snmp检查
import timeimport netaddrfrom netaddr import *import pandas as pdimport streamlit as stfrom concurrent.futures import ThreadPoolExecutorimport subproc ......
PINN——加入物理约束的神经网络
【摘要】 基于物理信息的神经网络（Physics-informed Neural Network， 简称PINN），是一类用于解决有监督学习任务的神经网络，它不仅能够像传统神经网络一样学习到训练数据样本的分布规律，而且能够学习到数学方程描述的物理定律。与纯数据驱动的神经网络学习相比，PINN在训练过 ......
2023-2024-1 20232303 《网络空间安全导论》第15周学习总结
2023-2024-1 20232303 《网络空间安全导论》第15周学习总结 教材学习内容总结 教材学习中的问题和解决过程 问题一：对U盾不是很理解，也不是很清楚U盾应用于网上银行支付认证的工作流程。 问题一解决方案：上网查找，询问AI。 U盾，也叫做USB加密锁，是一种用于安全身份验证和数据保护 ......
网络空间第六章学习
应用安全基础 思维导图 问题一 每次在学习的时候，总是会遇到很多不了解的专业的名词，比如什么是比特币，区块链和比特币又有什么联系 解决方法 就是不停地上网查找，去将每个小知识点联系在一起，就可以对某个概念有大致了解 问题二 然后你会发现你不懂的东西越来越多，就跟一个无底洞一样，但是时间又是有限的 解 ......