爬虫 语言 网络
爬虫
用with读取文件 # './素材/三国演义.html'是文件路径，'r'表示读取模式，encoding='UTF-8'指定编码为UTF-8 with open('./素材/三国演义.html', mode='r', encoding='UTF-8') as file: # 读取文件内容并将其保存在 ......
【python基础】6.网络编程和通信
网络编程和通信 基于Socket的网络编程 Socket Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket后面，对用户来说只需要调用Socket规定的相关接口，让Socket去组 ......
神经网络优化篇：详解梯度的数值逼近（Numerical approximation of gradients）
在实施backprop时，有一个测试叫做梯度检验，它的作用是确保backprop正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行backprop的所有细节都是正确的。为了逐渐实现梯度检验，首先说说如何计算梯度的数值逼近。 先画出函数\(f\)，标记为\(f\left( \thet ......
使用pytorch构建图卷积网络预测化学分子性质
在本文中，我们将通过化学的视角探索图卷积网络，我们将尝试将网络的特征与自然科学中的传统模型进行比较，并思考为什么它的工作效果要比传统的方法好。 https://avoid.overfit.cn/post/7cfa0930651b4b4cac912952d8c53d54 ......
Python爬虫-排行榜数据爬取
前言开始接触 CTF 网络安全比赛发现不会写 Python 脚本的话简直寸步难行……故丢弃 Java 学习下 Python 语言，但单纯学习语法又觉得枯燥……所以从 Python 爬虫应用实战入手进行学习 Python。本文将简述爬虫定义、爬虫基础、反爬技术 和 CSDN博客排行榜数据爬取实战。 网 ......
python爬虫算法深度优先遍历_爬虫基础 之深度优先，广度优先策略
1.深度优先递归方式; import re import requests headers = { 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom ......
Go语言常见错误| 意外的变量隐藏
Go语言常见错误| 意外的变量隐藏 原创 云原生Go 源自开发者 2024-01-04 07:46 发表于广东 听全文 源自开发者 专注于提供关于Go语言的实用教程、案例分析、最新趋势，以及云原生技术的深度解析和实践经验分享。 62篇原创内容 公众号 在Go语言中，变量隐藏（Variable Sha ......
网络知识｜序列化和非序列化以及选择
1.JSON one of simplest and most popular formats We can represent an object in plain text with fields of type: String, Number, Boolean, Array, Object E ......
R语言DCC-GARCH模型对上证指数、印花税收入时间序列数据联动性预测可视化|附代码数据
全文链接：http://tecdat.cn/?p=31630 最近我们被客户要求撰写关于GARCH的研究报告，包括一些图形和统计输出。 普通的模型对于两个序列的波动分析一般是静态的，但是dcc-garch模型可以实现他们之间动态相关的波动分析，即序列间波动并非为一个常数，而是一个随着时间的变化而变化 ......
matlab使用长短期记忆（LSTM）神经网络对序列数据进行分类|附代码数据
全文下载链接：http://tecdat.cn/?p=19751 本示例说明如何使用长短期记忆（LSTM）网络对序列数据进行分类 。 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 要训练深度神经网络对序列数据进行分类，可以使用LSTM网络。LSTM网络使您可以将序列数据输入 ......
爬虫01
微服务学的蛮多的 笔记没传 就这样吧 爬虫 基础01 1.爬虫分类 通用爬虫： 聚焦爬虫 功能爬虫 增量式爬虫 分布式爬虫 2.requests基础操作 1.环境安装 案例1 搜狗首页数据和持续存储 import requests url = 'https://www.sogou.com/' r = ......
debian使用apt安装时出现“更换介质，插入驱动器"/media/chrom/"再按回车键”的提示，无法从网络安装
nano /etc/apt/sources.list把那出现的那行注释掉；含CD盘的一行；然后apt-get update，然后装就不会出现了，这是一个cd盘，正确应该要从网上的源直接装； nano进入后，使用CTRL+o保存，并使用CTRL+X退出 ......
Go语言
存储结构： 1、切片 切片是Go中重要的数据类型，每个切片对象内部都维护着：数组指针（切片的地址）、切片长度、切片容量三个数据 长度是目前存储的数量，容量是最大存储数量 在向切片中追加的数据个数大于容量时，内部会自动扩容且每次扩容都当前容量的两倍（当容量超过1024时每次扩容则只增加当前容量的1/4 ......
Linux 网络流量监控利器 iftop
# CentOS$ sudo yum install iftop -i 指定需要检测的网卡， 如果有多个网络接口，则需要注意网络接口的选择，如：# iftop -i eth1-B 将输出以 byte 为单位显示网卡流量，默认是 bit-n 将输出的主机信息都通过 IP 显示，不进行 DNS 解析 - ......
docker构建机器学习计算环境并做无网络迁移
1.docker安装 很多系统自带docker，可以跳过 2.拉取镜像 docker pull nvcr.io/nvidia/pytorch:22.12-py3 保证有足够磁盘空间，有些镜像要几十G，不然系统会出问题，看我另一篇博文 3.配置 创建一个名字为xxx的容器，运行镜像yyy docker ......
简易机器学习笔记（八）关于经典的图像分类问题-常见经典神经网络LeNet
前言 图像分类是根据图像的语义信息对不同类别图像进行区分，是计算机视觉的核心，是物体检测、图像分割、物体跟踪、行为分析、人脸识别等其他高层次视觉任务的基础。图像分类在许多领域都有着广泛的应用，如：安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类， ......
计算机网络-基础篇
参考资料：https://xiaolincoding.com/network/1_base/tcp_ip_model.html#应用层 网络模型 Q1：为什么需要网络模型？ 同一台设备上的进程间通信，有多种方式，例如管道、消息队列、共享内存、信号等； 不同设备上的进程间通信，就需要网络通信。由于设备 ......
linux iptables在没有域名且网络不通的情况下实现将IP数据包从一个IP地址路由到另一个IP地址
linux iptables在没有域名且网络不通的情况下实现将IP数据包从一个IP地址路由到另一个IP地址 ** 本文地址：https://www.cnblogs.com/muphy/p/17934332.html 场景 即使同一台服务器，在不同网络环境下访问的IP地址不同，处于不同的网段，且不同网 ......
指定url和深度的广度优先算法爬虫的python实现
广度优先算法介绍 整个的广度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的"子节点"(也就是超链接)提取出来，放入队列中依次进行抓取。被处理过的链接需要放 入一张表(通常称为Visited表)中。每次新处理一个链接之前，需要查看这个链接是否已经存在于Visited表中。如果存在，证明链接已经 ......
如何更换vscode语言服务器的根目录
参考资料： https://stackoverflow.com/questions/47092247/how-to-setup-working-directory-in-vs-code-for-pylint 参考资料给出了一个行之有效的方法，就是在当前的根目录下新建一个.env文件，然后加上这段话： ......
基于Pytorch的网络设计语法4
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net4(nn.Module):# 从nn.Module ......
基于Pytorch的网络设计语法3
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net3(nn.Module):# 从nn.Module ......
基于Pytorch的网络设计语法2
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net2(nn.Module):# 从nn.Module ......
基于Pytorch的网络设计语法1
第一种语法： 层层堆叠 import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net1(nn.Module):# ......
2024-01-03：用go语言，给你两个长度为 n 下标从 0 开始的整数数组 cost 和 time， 分别表示给 n 堵不同的墙刷油漆需要的开销和时间。你有两名油漆匠， 一位需要 付费 的油漆匠
2024-01-03：用go语言，给你两个长度为 n 下标从 0 开始的整数数组 cost 和 time， 分别表示给 n 堵不同的墙刷油漆需要的开销和时间。你有两名油漆匠， 一位需要 付费 的油漆匠，刷第 i 堵墙需要花费 time[i] 单位的时间， 开销为 cost[i] 单位的钱。 一位 免 ......
【推荐】Helix的编程语言配置
目录编程语言languages.toml语言配置探测文件类型编程语言服务为一个编程语言配置语言服务Tree-sitter 语法配置选择语法 编程语言 编程语言设置以及语言服务器设置位于配置文件languages.toml 中。 languages.toml languages.toml 有三个可能的 ......
干掉“卧槽”！首个支持中文及跨语言查询的开源在线反向词典！
大家好，我是 Java陈序员。 我们在生活中，会遇到一些有趣的人和事，或者是一些令人惊叹的风景。想表达抒发自己心情的时候，到嘴边往往却只能说一句“卧槽”！ 别问我为啥知道，因为“俺也一样”！ 今天，给大家介绍一个有趣的开源项目，让你干掉“卧槽”！ 项目介绍 WantWords —— 由清华大学人工智 ......
网络硬件设备组成
ONU设备 功能：ONU设备（Optical Network Unit）是用于接入光纤网络的终端设备，负责光纤网络的接入和数据传输。 技术：ONU设备采用光纤传输技术，能够实现高速的数据传输。 网络结构：ONU设备通常用于光纤接入网络（FTTx）中，连接用户终端设备与光纤网络。 管理方式：ONU设备 ......
神经网络优化篇：详解神经网络的权重初始化（Weight Initialization for Deep NetworksVanishing / Exploding gradients）
神经网络的权重初始化 这是一个神经单元初始化地例子，然后再演变到整个深度网络。 来看看只有一个神经元的情况，然后才是深度网络。 单个神经元可能有4个输入特征，从\(x_{1}\)到\(x_{4}\)，经过\(a=g(z)\)处理，最终得到\(\hat{y}\)，稍后讲深度网络时，这些输入表示为\(a ......
推荐一款免费开源的网络监测工具InternetTest
Internet Test 是一种多合一的解决方案，适用于那些喜欢通过手动检查其可用性来密切关注其首选网站正常运行时间的人。当然，InternetTest 中也随带了定位 IP 以及地图显示定位等功能。InternetTest 是基于 MIT 许可证的免费开源软件。 当用户想要测试其网络连接速度时， ......