爬虫 语言 网络
tcp网络编程4—并发的io多路复用实现（select）
原型： int select(int max fdp1, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout) 功能： 委托内核检查描述符集是否准备好（即可以使用） 参数： fdp1：最大的fd加 ......
java前后台交互从网络编程到SpringBoot
通过这片文章，想表达的是代码演变的过程，由繁到简 最原始的方法，通过网络编程、I/O流和多线程来实现： package com.itheima; import java.io.*; import java.net.ServerSocket; import java.net.Socket; impor ......
go 网络编程
1.网络编程基本介绍 Golang的主要设计目标之一就是面向大规模后端服务程序，网络通信这块是服务端程序必不可少也是至关重要的一部分 网络编程有两种： 1）TCP socket编程，是网络编程的主流。底层是基于TCP/IP协议的，例如QQ等客户端。 2）b/s结构（Browser/Server，浏览 ......
HTML的语言规范_基本结构标签和vscode设置
一.语法规范 1.1基本语法概述 HTML标签是由尖括号包围的关键词,列如<html> HTML标签通常是成对出现的,列如<html></html>,这种称之为双标签,标签中的第一个标签是开始标签,第二个标签是结束标签 有些特殊的标签必须是单个标签(极少情况) 比如:<br />,这种称之为单标签 ......
02计算机网络模型tcp/ip
1.数据封装过程 从上到下：应用层 》传输层（进行封装，添加tcp头部） 》网络层（进行封装，添加ip头部） 》数据链路层（进行封装，添加mac头部） 》物理层（0,1） 2.数据解封装过程 从下到上：物理层（0,1） 》数据链路层（进行解封装，去掉mac头部） 》网络层（进行解封装，去掉ip头部） ......
Python互联网大数据爬虫的武汉市二手房价格数据采集分析：Linear Regression模型、XGBoost模型和LightGBM模型
全文链接：http://tecdat.cn/?p=31958 原文出处：拓端数据部落公众号 分析师：Yan Liu 我国有大量的资金都流入了房地产行业，同时与其他行业有着千丝万缕的联系，可以说房地产行业对推动我国深化改革、经济发展、工业化和城市化具有不可磨灭的作用。目前对于二手房交易价格的预测主要考 ......
docker找不到网络终极解决方案
解决方案 用下面的命令解决： docker system prune systemctl restart docker.service 参考 https://stackoverflow.com/questions/39640963/error-response-from-daemon-network ......
R语言主题模型LDA文本挖掘评估公司面临的风险领域与可视化|附代码数据
原文链接：http://tecdat.cn/?p=17996 最近我们被客户要求撰写关于主题模型LDA的研究报告，包括一些图形和统计输出。 随着越来越多的数据被数字化，获取信息变得越来越困难。我们在本文中重点关注的一个示例是评估公司面临的不同风险领域 介绍 为此，我们参考公司提交给证券交易委员会的年 ......
NLP自然语言处理—主题模型LDA案例：挖掘人民网留言板文本数据|附代码数据
全文链接：tecdat.cn/?p=2155 最近我们被客户要求撰写关于主题模型LDA的研究报告，包括一些图形和统计输出。 随着网民规模的不断扩大，互联网不仅是传统媒体和生活方式的补充，也是民意凸显的地带。领导干部参与网络问政的制度化正在成为一种发展趋势，这种趋势与互联网发展的时代需求是分不开的 ▼ ......
Go语言：利用 TDD 驱动开发测试 学习结构体、方法和接口
环境安装： （新手向）在Linux中使用VScode编写 "Hello，world"程序，并编写测试-Ubuntu20.4 上一篇相关随笔： Go语言：利用 TDD 测试驱动开发帮助理解数组与动态数组（切片）的区别 正文👇 先来点简单的： 假设我们需要编程计算一个给定高和宽的长方形的周长。我们可以 ......
命令行*args[]参数输入的C语言实现
有时需要自己实现类似于命令行参数的输入，将其存放于字符串指针数组char *arg[]； 原理： 1、scanf（）不会读取空格，而是将其作为一种输入完毕的标志 2、getchar（）从键盘输入缓冲区读取最后一个字符，若按过回车，则最后一个字符应当是‘\n’ ，可以将次作为命令行参数输入完毕的标志 ......
第4章 C++语言高级专题二
单继承 继承性是面向对象程序设计中最重要的机制。这种机制提供了无限重复利用程序资源的一种途径。通过C++语言中的集成机制，可以扩展和完善旧的程序设计与适应新的需求。这样不仅可以节省程序开发的时间和资源，并且为未来程序增添了新的资源。 class studet { int num; char na ......
面试笔记——计算机网络
原文链接：javaguide 常见面试题 OSI 和 TCP/IP 网络分层模型 OSI 七层模型 OSI 七层模型 是国际标准化组织提出一个网络分层模型，其大体结构以及每一层提供的功能如下图所示： 每一层都专注做一件事情，并且每一层都需要使用下一层提供的功能比如传输层需要使用网络层提供的路由和寻址 ......
20201226马瑞婕《网络对抗》Exp2后门原理与实践
#1 实验基础 ##1.1 基础知识 ###1.1.1 后门的概念 后门就是不经过正常认证流程而访问系统的通道。后门可能出现在编译器中、操作系统中，最常见的是应用程序中的后门，还可能是潜伏于操作系统中或伪装成特定应用的专用后门程序。 #常用后门工具 NC和Netcat 底层工具，进行基本的TCP、U ......
第四章 网络层
第四章 网络层 1. 概述 网络层提供的服务是最大努力交付，也就是不可靠交付，存在 丢失 乱序 重复的问题 网络层向运输层提供的两种服务： 虚电路服务(面向连接的) 数据包服务（面向无连接的) 2. 网络层协议 网际协议IP 地址解析协议 ARP (Address Resolution Protoc ......
ChatGPT国内小程序(AI GPGT智能助手)-自然语言处理的新里程碑
ChatGPT中文网是一个面向中国用户的聊天机器人网站，旨在为国内用户提供一个自然的环境、有趣、实用的聊天体验。它使用最新的自然语言处理技术来帮助用户更好地理解他们的聊天对话，还可以帮助用户解决日常生活中的问题，提供有趣的谈话内容以及实时信息服务。 AI GPGT智能助手 任何 transforme ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门语言翻译应用场景（附python/node.js/curl命令源代码，小白也能学）
与其他翻译工具不同，使用ChatGPT可以考虑文本的上下文和目标语言的习惯和礼貌用语，生成更自然和恰当的翻译。使用ChatGPT进行风格转换。您可以指定您想要的翻译风格，例如正式、幽默、简洁等，让ChatGPT根据您的要求调整翻译的语气和表达。 ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门自然语言指令创建支付API代码（附python/node.js/curl命令源代码，小白也能学）
用户可以通过ChatGPT，使用自然语言指令来创建和控制自己想调用Stripe API的代码，无需关心技术细节和实现过程。用户还可以根据自己的喜好和需求，选择不同的语言和模型来生成相应的接口，更快速地生成调用OpenAI的各种模型和服务的代码。 ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门自然语言转换SQL查询语句应用（附python/node.js/curl命令源代码，小白也能学）
使用ChatGPT可以帮助开发人员快速构建复杂的SQL查询，而无需手动编写SQL代码。ChatGPT可以将自然语言转换为SQL查询语句，并且可以根据用户的要求进行定制化。ChatGPT可以帮助开发人员更快地完成SQL查询，减少了编写SQL代码的时间，提高了工作效率。 ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门自然语言指令创建调用OpenAI（附python/node.js/curl命令源代码，小白也能学）
用户可以通过ChatGPT，使用自然语言指令来创建和控制自己想调用OpenAI API的代码，无需关心技术细节和实现过程。用户还可以根据自己的喜好和需求，选择不同的语言和模型来生成相应的接口，更快速地生成调用OpenAI的各种模型和服务的代码。 ......
为什么C++语言性能优越？
面试时被问到这个问题，发现自己一直以来理所当然的认为C++快，却没有具体分析原因。下面简单总结一下为什么快。 当我们编写程序时，我们需要将程序转换为计算机可以理解的机器语言。不同的语言有不同的执行机制。以C++，Java和Python的执行过程为例。 C++程序的执行过程： 预编译（预处理）： 预处 ......
Day 18 18.1 并发爬虫之协程实现
并发爬虫之协程实现 协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。 协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此： 协程能保留上一次调用时的状态（即所有局 ......
K8S实战集训第一课 Ansible自动化部署k8s、弹性伸缩、Helm包管理、k8s网络模型介绍
K8S实战集训第一课 Ansible自动化部署k8s、弹性伸缩、Helm包管理、k8s网络模型介绍 Ansible自动化部署K8S集群 一、Ansible自动化部署K8S集群 1.1 Ansible介绍 Ansible是一种IT自动化工具。它可以配置系统，部署软件以及协调更高级的IT任务，例如持续部 ......
C语言词频统计[2023-03-22]
C语言词频统计[2023-03-22] 程序将从文本文件输入(.txt文件扩展名)中读取单词。 当程序运行时，程序将向用户请求输入文件。 程序应将从文件中读取的字存储到合适的数据结构中。 程序将计算输入文件中有多少个单词。 程序将计算输入文件中有多少个不同的单词。 程序将计算每个出现单词的频率。 程 ......
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
使用axios+vue在离开页面时中断网络请求
最近做到一个需求需要在离开页面时中断未完成的网络请求 第一步： 引入axios和CancelToken实例子 import axios from 'axios' const CancelToken = axios.CancelToken 第二步：在封装好的接口方法中加入cancelToken配置属性 ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......