爬虫 语言 网络
网络传输数据的编解码
网络传输数据的类型（二进制） 网络传输是以二进制数据进行传输的，因此在网络传输数据的时候，数据需要先编码转化为二进制（bytes）数据类型 数据的编解码 在Python中进行网络数据传输编解码通常涉及到将数据转换为字节流进行传输，并在接收方将字节流转换回原始数据。 编码 编码是将数据从一种形式转换为 ......
golang网络编程
Go语言的网络编程主要使用 net 包来实现。该包提供了一组基本的网络功能，包括 TCP 和 UDP 套接字、IP 地址和端口号的处理、以及一些高级特性，如非阻塞 I/O 和 HTTP 客户端库。 ......
R语言预测人口死亡率：用李·卡特（Lee-Carter）模型、非线性模型进行平滑估计|附代码数据
全文链接：http://tecdat.cn/?p=13663 最近我们被客户要求撰写关于预测人口死亡率的研究报告，包括一些图形和统计输出。 今天早上，我和同事一起分析死亡率。我们在研究人口数据集，可以观察到很多波动性 我们得到这样的结果： 由于我们缺少一些数据，因此我们想使用一些广义非线性模型。因此 ......
R语言结构方程模型SEM、路径分析房价和犯罪率数据、预测智力影响因素可视化2案例|附代码数据
原文链接：http://tecdat.cn/?p=25044 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于结构方程模型的研究报告，包括一些图形和统计输出。 1 简介 在本文，我们将考虑观察/显示所有变量的模型，以及具有潜在变量的模型。第一种有时称为“路径分析”，而后者有时称为“测量模型” ......
k8s 网络模型
容器网络通信模式 在Host模式中，各容器共享宿主机的根网络名称空间，它们使用同一个接口设备和网络协议栈，因此，用户必须精心管理共享同一网络端口空间容器的应用与宿主机应用，以避免端口冲突。 Bridge模式对host模式进行了一定程度的改进，在该模式中，容器从一个或多个专用网络（地址池）中获取IP地 ......
C语言里.和->的区别
->使用一个指向结构体或对象的 指针 访问其内成员 .是 直接 通过结构体或对象来访问他们的内部成员变量 早期的C语言不支持将结构体作为参数在函数之间传递，只能用指向结构的指针在函数间进行传递 a->b 的含义是 (*a).b ，所以他们是不同的，不过的确 -> 可以用 * 和 . 实现，不需要单独 ......
爬虫实践05 | 爬取参展公司信息
完整代码： #2023-08-09 这个筛选了Apparel的代码 import requests import json import pandas as pd import time data=[] for i in range(1, 11): #从第1页开始取，取到第10页 url = f'h ......
爬虫实践04 | 爬取海底捞深圳门店信息
需求： 爬取海底捞深圳门店信息 完整代码： #2023-8-11：爬取海底捞门店信息 import requests import json import pandas as pd url='https://www.haidilao.com/eportal/store/listObjByPositi ......
MySQL全文索引的自然语言搜索使用介绍
接上篇《MySQL全文索引的布尔搜索使用介绍》 自然语言搜索是全文搜索技术中的一种模式，它允许用户使用普通话语或句子来查询，而不需要使用特定的查询语言或格式。这种搜索方式的目的是使查询更加直观和人性化，从而为非技术用户提供更好的搜索体验。 以下是关于MySQL中自然语言搜索的详细介绍： 基本原理 词 ......
Docker使用WVP-Pro-GB28181网络视频平台
1-- Docker拉取镜像# 镜像地址：docker镜像地址 docker pull 648540858/wvp_prodocker run --env WVP_IP="192.168.18.61" -it -p 18080:18080 -p 30000-30500:30000-30500/udp ......
python优雅地爬虫
我需要获得新闻，然后tts，在每天上班的路上可以听一下。具体的方案后期我也会做一次分享。先看我喜欢的万能的老路：获得html内容-> python的工具库解析，获得元素中的内容，完成。 好家伙，我知道我爬取失败了。一堆js代码，看得我烦。我一去看页面发现：原来新闻的获得是走的接口，然后js插入文档的 ......
基于卷积神经网络的MAE自监督方法
本文分享自华为云社区《基于卷积神经网络的MAE自监督方法》，作者： Hint 。 图像自监督预训练算法是近年来的重要研究方向，MAE是其中基于ViT实现的代表性方法，学习到了鲁棒的视觉特征。MAE全称是Masked Autoencoders,是由何凯明提出的自监督预训练方法，借鉴了BERT的预训练任 ......
centos网络流量查看
nethogs工具 yum install -y nethogs nethogs +网卡名 nethogs eth0 注：默认显示eth0网卡 命令用法： 1、设置5秒钟刷新一次，通过-d来指定刷新频率：nethogs -d 5 2、监视eth0网络带宽 :nethogs eth0 3、同时监视et ......
书签-- 阮一峰的网络日志
阮一峰的网络日志 http://www.ruanyifeng.com/blog/archives.html ChatGPT 中文在线 ChatGPT 的使用页面，并且收集了相关资源。 GPYTHON AI 辅助的 Python 学习网站，在线练习编码。 ......
Go语言工程实践——实现简易论坛服务端
### Go语言工程实践——实现简易论坛服务端 这篇文章是在我完成极简版抖音项目之后撰写的，相比刚听网课的时候的懵懵懂懂，书写过一些go代码后对这个作业的理解深入了很多。这个作业是实现一个服务端go程序，下面从零开始开发。 #### 准备工作 首先建立一个名为server_demo的空目录作为项目根 ......
python爬虫——爬虫伪装和反“反爬”
前言爬虫伪装和反“反爬”是在爬虫领域中非常重要的话题。伪装可以让你的爬虫看起来更像普通的浏览器或者应用程序，从而减少被服务器封禁的风险；反“反爬”则是应对服务器加强的反爬虫机制。下面将详细介绍一些常见的伪装和反反爬技巧，并提供对应的代码案例。 1. User-Agent伪装User-Agent是HT ......
QT网络通信
QT进行TCP网络通信： 1.TCP是C/S模式的需要建立连接的网络通信架构，建立连接需要进行三次握手，断开连接需要四次握手。 2.服务器模式：需要先创建监听套接字，通过bind函数进行ip和端口绑定，通过listen函数监听客户端的连接请求，通过accept函数处理客户端的连接请求并返回通信套接字 ......
7个顶级开源数据集来训练自然语言处理（NLP）和文本模型
随着围绕NLP的大量兴奋和研究，将这些技术应用于现实世界场景的机会越来越多。熟悉NLP并非易事，这些开源数据集可以帮助您提高技能。 ......
网络协议总结
> **身不饥寒，天未尝负我；学无长进，我何以对天。** ### 导航 - [壹-链路层](#yi) - [貳-网络层](#er) - [叁-传输层](#san) - [肆-应用层](#si) - [伍-杂项](#wu) ### 壹-链路层 **1、ARP协议** 1. 简介：链路层之间的通讯只需关 ......
C语言个人笔记（持续更新中）
# 第一&二章 概况 ## 1 在UNIX、LINUX和Windows下的运行过程 c语言执行过程：源代码.c >（编译器/汇编器） >目标代码.obj >(链接器) >可执行代码.exe 编译器：将c文件编译为汇编语言 汇编器：将c文件编译为机器语言 链接器：有三种链接方式： ### 在UNIX系 ......
一文详解自然语言处理两大任务与代码实战：NLU与NLG
> 自然语言处理（NLP）涵盖了从基础理论到实际应用的广泛领域，本文深入探讨了NLP的关键概念，包括词向量、文本预处理、自然语言理解与生成、统计与规则驱动方法等，为读者提供了全面而深入的视角。 > 作者 TechLead，拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦 ......
聊聊语言模型与知识图谱
## 语言模型 语言模型泛指：大语言模型LLM、通用模型GLM。 语言模型也是知识库。基于语言模型下的实现，比如ChatGPT，BERT，ChatGLM等等，这类知识库就像是已经人为处理好、编排好、可直接使用的知识库。 ## 知识图谱 知识图谱的定义由Google公司在2012年提出,被界定为用来提 ......
linux 配置网络服务（如 SSH、FTP）
配置网络服务是确保网络应用正常运行的重要步骤。以下是SSH和FTP两种网络服务的配置示例： 1. **配置SSH服务**： SSH（Secure Shell）用于安全远程登录和数据传输。 - 安装SSH服务器： sudo apt-get install openssh-server # 在Ubunt ......
linux 网络工具和命令（如 ping、ifconfig）
以下是一些常用的网络工具和命令，以及它们的示例用法： 1. **ping命令**： - 用于测试网络连接是否正常，发送ICMP回应请求到目标主机。 示例：ping到谷歌的服务器。 ping www.google.com 2. **ifconfig命令**： - 用于查看和配置网络接口信息，如IP地址 ......
linux 网络配置和接口管理
网络配置和接口管理是Linux系统中管理网络连接和通信的重要方面。以下是一些关于网络配置和接口管理的方法和示例说明： 1. **ifconfig 命令**： - 使用 ifconfig 命令可以查看和配置网络接口的信息，如IP地址、子网掩码、MAC地址等。 示例：查看网络接口 "eth0" 的配置信 ......
Java语言入门（基础语法）：
基础语法： Java常量： java常量就是在程序中固定不变的值，是不能改变的数据。 例如数字1、字符“a”、浮点数3.2等。在Java中，常量包括整型常量、浮点数常量、布尔常量、字符常量等。 final 是定义常量的关键字（表示最终的） static 修饰静态成员变量，可用于成员上，方法上，修饰之 ......
数学建模---- 预测模型 BP神经网络
什么时候要用BP神经网络？ 当样本数量<自变量+1的时候，这个时候我们不太适合用回归 可以用BP神经网络 当因变量有多个时，一般我们做回归都只有一个因变量 当因变量有多个可以考虑用神经网络 神经网络的操作步骤： 一个例题： 导入数据： Y是已知的因变量，这里是辛烷值 X是已知的自变量，这里是吸光度 ......
js玩儿爬虫
# 前言 提到爬虫可能大多都会想到python，其实爬虫的实现并不限制任何语言。 下面我们就使用js来实现，后端为express，前端为vue3。 # 实现功能 话不多说，先看结果：  > 简单的爬取图片 # 前言 这几天打算整理与迁移一下博客。~~因为 CSDN 的 Markdown 编辑器很好用~~ ，所以全部文章与相关图片都保存在 CSDN。而且 CSDN 支持一键导出自己的文章为 markdown 文件。但导出的文件中图片的连接依旧是 url 连接。为 ......