爬虫 语言 网络
C语言 数据类型
基本数据类型 它们是算术类型，包括整型(int)、字符型(char)、浮点型(float)和双精度浮点型(double)。 Compiler Windows vc12 Lniux gcc-5.3.1 Target win32 x64 i686 x86_64 char 1 1 1 1 short 2 ......
Python爬虫：实现爬取、下载网站数据的几种方法
使用脚本进行下载的需求很常见，可以是常规文件、web页面、Amazon S3和其他资源。Python 提供了很多模块从 web 下载文件。下面介绍 一、使用 requests requests 模块是模仿网页请求的形式从一个URL下载文件 示例代码： import requests url = 'x ......
机器学习——网络中的网络NiN
NiN块 回想一下，卷积层的输入和输出由四维张量组成，张量的每个轴分别对应样本、通道、高度和宽度。 另外，全连接层的输入和输出通常是分别对应于样本和特征的二维张量。 NiN的想法是在每个像素位置（针对每个高度和宽度）应用一个全连接层。 如果我们将权重连接到每个空间位置，我们可以将其视为1*1卷积层， ......
linux-常用网络命令
1、ping ping 命令用于测试与目标主机之间的连接。它向目标主机发送一个ICMP回显请求，并等待它的回应。如果目标主机正常工作并且连接畅通，则会收到一个回显响应。如果没有收到响应，则说明有问题，需要进一步排除故障。 2、traceroute traceroute 命令用于跟踪数据包从本地主机到 ......
Docker容器间的网络设置
1、构建自定义docker网络 docker network create -d bridge docker_Net#其中，-d指定了docker的网络类型为bridge类型，并自定义docker网络的名称为docker_Net 创建成功后，用docker network ls查看系统的docker ......
深度解析自然语言处理之篇章分析
在本文中，我们深入探讨了篇章分析的概念及其在自然语言处理（NLP）领域中的研究主题，以及两种先进的话语分割方法：基于词汇句法树的统计模型和基于BiLSTM-CRF的神经网络模型。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕， ......
机器学习——深度卷积神经网络AlexNet
AlexNet相对于LeNet的主要优势包括: 1. 更深的网络结构 AlexNet有8层结构,而LeNet只有5层。网络更加深入有利于学习更抽象的高级特征。 2. 使用ReLU激活函数 AlexNet使用ReLU激活函数,避免梯度消失问题,使得深层网络的训练更加容易。 3. 引入Dropout操作 ......
机器学习——使用块的网络VGG
VGG块 虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板（例如VGG块）来指导后续的研究人员设计新的网络。 在下面的几个章节中，我们将介绍一些常用于设计深层神经网络的启发式概念。 经典卷积神经网络的基本组成部分是下面的这个序列： 带填充以保持分辨率的卷积层； 非线性激活函数， ......
R语言用GARCH模型波动率建模和预测、回测风险价值 (VaR)分析股市收益率时间序列|附代码数据
原文链接：http://tecdat.cn/?p=26897 最近我们被客户要求撰写关于GARCH的研究报告，包括一些图形和统计输出。 风险价值 (VaR) 是金融风险管理中使用最广泛的市场风险度量，也被投资组合经理等从业者用来解释未来市场风险 风险价值 (VaR) VaR 可以定义为资产在给定时间 ......
R语言EG(Engle-Granger)两步法协整检验、RESET、格兰杰因果检验、VAR模型分析消费者价格指数CPI和生产者价格指数PPI时间序列|附代码数据
全文链接：http://tecdat.cn/?p=31108 原文出处：拓端数据部落公众号 作为衡量通货膨胀的基本指标，消费者价格指数CPI和生产者价格指数PPI的作用关系与传导机制一直是宏观经济研究的核心问题。 对此问题的研究显然具有重要的学术价值与现实意义:当PPI先行地引导着CPI的变动，则意 ......
神经网络基础篇：详解logistic 损失函数（Explanation of logistic regression cost function）
详解 logistic 损失函数 在本篇博客中，将给出一个简洁的证明来说明逻辑回归的损失函数为什么是这种形式。 回想一下，在逻辑回归中，需要预测的结果\(\hat{y}\),可以表示为\(\hat{y}=\sigma(w^{T}x+b)\)，\(\sigma\)是熟悉的\(S\)型函数 \(\sig ......
2023-11-08：用go语言，字符串哈希原理和实现 比如p = 233, 也就是课上说的选择的质数进制 “ 3 1 2 5 6 ...“ 0 1 2 3 4 hash[0] = 3 * p的0
2023-11-08：用go语言，字符串哈希原理和实现 比如p = 233, 也就是课上说的选择的质数进制 " 3 1 2 5 6 ..." 0 1 2 3 4 hash[0] = 3 * p的0次方 hash[1] = 3 * p的1次方 + 1 * p的0次方 hash[2] = 3 * p的2 ......
爬虫五
打码平台 2、登录某些网站，会有验证码 》想自动破解 数字字母：python模块：ddddocr 计算题，成语题，滑块。。。：第三方打码平台，人工操作 2、打码平台 云打码，超级鹰 3 、咱们破解网站登录的思路 使用selenium 》打开网站 》（不能解析出验证码地址） 》使用截图 案例 超级鹰a ......
爬虫-mysql-工具
MySQL数据库 一、MySQL数据库的介绍 1、发展史 1996年，MySQL 1.0 2008年1月16号 Sun公司收购MySQL。 2009年4月20，Oracle收购Sun公司。 MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（ ......
Pytorch 实现 GAN 网络
Pytorch 实现 GAN 网络 原理 GAN的基本原理其实非常简单，假设我们有两个网络，G（Generator）和D（Discriminator）。它们的功能分别是： G 是一个生成网络，它接收一个随机的噪声z，通过这个噪声生成伪造数据，记做 G(z)。 D 是一个判别网络，判别数据是不是“真实 ......
详解 Calico 三种模式（与 Fannel 网络对比学习）
1. 概述Calico是一个基于 BGP 的纯三层网络方案。它在每个计算节点都利用 Linux kernel 实现了一个高效的虚拟路由器 vRouter 来进行数据转发。每个 vRouter 都通过 BGP 协议将本节点上运行容器的路由信息向整个 Calico 网络广播，并自动设置到达其他节点的路由 ......
K8S Calico网络插件之BGP模式，BGP模式只能在同个子网内使用，无法跨网段
注：本文基于Calico v3.20.1版本编写 1 切换到BGP模式因为按照官网的配置文件部署calico时，默认使用的是IPIP模式，如果需要使用BGP模式，就要做一些修改。 主要有两种方式， 修改IPPool中的ipipMode为Never，也就是禁用IPIP模式[root@master ho ......
【爬虫】爬取网站图片的url学习记录，xpath用法
这次是想爬取一个壁纸网站里面图片的url，这里使用了lxml库，先上脚本 import requests from lxml import etree url="https://pic.netbian.com/4kdongman/" domain="https://pic.netbian.com/" ......
Python 既是解释型语言，也是编译型语言
哈喽大家好，我是咸鱼 不知道有没有小伙伴跟我一样，刚开始学习 Python 的时候都听说过 Python 是一种解释型语言，因为它在运行的时候会逐行解释并执行，而 C++ 这种是编译型语言 不过我今天看到了一篇文章，作者提出 Python 其实也有编译的过程，解释器会先编译再执行 不但如此，作者还认 ......
Linux服务器网络配置记录
Linux服务器网络配置记录 材料准备 材料 数量 服务器 1 显示器 1 网线 2（千兆*1） 千兆交换机 1 插线板 1 网线连接 从路由器LAN口引出网线到交换机任一口，再从交换机剩余任一口引出千兆网线到服务器网线插口1 服务器网线插口1插入后有有灯闪烁代表网线连接正常 网卡配置 网线插口1已 ......
C语言变量分类
按照变量的定义位置分类，在函数外部定义的变量为 全局变量 或者 外部变量；在函数内部定义的变量为 局部变量。 在不加修饰\(^*\)的情况下，全局变量的作用域是定义以下的整个文件，局部变量的定义域是定义以下的所在函数体。在函数内访问变量时，优先查找局部变量，所以如果局部变量与全局变量同名，局部变量会 ......
面试官：你会如何设计QQ中的网络协议？
设计一个QQ需要考虑网络协议的选择。我们选择使用TCP协议和HTTPS协议进行登录，使用UDP协议进行消息传送，使用P2P技术进行内网传输文件。这样能够保证登录的安全性和准确性，提高消息传送的效率，同时实现内网传输文件的快速和稳定。这些选择基于各个协议和技术的优点和适用场景，使得设计的QQ能够更好地... ......
基于Mel谱图和卷积神经网络的音频识别
基于Mel谱图和卷积神经网络的音频识别 摘要——近年来，由于其许多潜在的应用，自动声音识别受到了越来越多的研究兴趣。其中包括视频/音频内容的自动标记和机器人的实时声音检测。虽然图像分类是一个研究较多的话题，但声音识别还不太成熟。在这项研究中，利用了为图像分类开发的鲁棒机器学习技术，并将其应用于声音识 ......
虚拟机配置网络
为虚拟机配置网络通常涉及以下步骤： 1. 打开虚拟机软件，选择要配置网络的虚拟机。2. 点击虚拟机菜单中的“设置”或“选项”等按钮。3. 在设置中找到“网络适配器”选项卡，选择要为虚拟机配置的网络适配器类型。4. 根据需要配置网络适配器，例如选择“桥接模式”来共享主机的网络连接。5. 如果需要设置I ......
C语言笔记4
格式输出函数printf(格式控制串，输出列表） 功能：从标准输出设备上，按指定的格式书输对应变量的值，或输出一行字符串。 函数说明： (1)格式控制符串由双引号括起来，由“%”和格式符以及普通字符组成。 （2）输出表列是需要输出的一些数据，可以是常量、变量或表达式，一条输出语句可以输出多个·数据。 ......
R语言Copula模型分析股票市场板块相关性结构|附代码数据
原文链接：http://tecdat.cn/?p=25804 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于Copula的研究报告，包括一些图形和统计输出。 这篇文章是关于 copulas 和重尾的。在全球金融危机之前，许多投资者是多元化的。看看下面这张熟悉的图： 黑线是近似正态的。红线代 ......
字符串复健（c语言）
目录 目录目录字符串的声明和初始化字符串的内存表示字符串的输入输出输入输出字符串相关函数总结 字符串的声明和初始化 在 C 语言中，字符串实际上是使用空字符 \0 结尾的一维字符数组。 声明和初始化一个abc字符串： char site[4] = {'a', 'b', 'c', '\0'}; 简化： ......
学习c语言的一天（1）
打印地址使用%p 输出int（整型）二维数组时，发现地址每次＋4，是因为一个整型占4个字节，同理输出char（字符型）二维数组占1个字节，所以存储地址每次+1 #define _CRY_SECURE_NO_WARNINGS#include <stdio.h> int main (){ int arr ......