地址 技术 网络dhcp
开发笔记-大数据技术栈-spark基础
Spark是一个快速、通用、可扩展的大数据分析引擎，是集批处理、实时流处理、交互式查询、机器学习与图计算为一体的大数据开源项目。 一、对比MapReduce 1.Hadoop中的job处理流程： 》从hdfs读取数据 》 在map阶段，执行mapper function,然后split到磁盘 》在r ......
【网络爬虫笔记】爬虫Robots协议语法详解
Robots协议是指一个被称为Robots Exclusion Protocol的协议。该协议的主要功能是向网络蜘蛛、机器人等搜索引擎爬虫提供一个标准的访问控制机制，告诉它们哪些页面可以被抓取，哪些页面不可以被抓取。本文将进行爬虫Robots协议语法详解，同时提供相关代码和案例。 1. Robots ......
网络八股7
1、DoS 攻击 和 DDoS攻击是什么？如何防范？ DoS（Denial of Service，拒绝服务） 攻击和 DDoS（Distributed Denial of Service，分布式拒绝服务）攻击都是网络安全领域常见的攻击手段。它们的目的是通过消耗目标系统的资源（如带宽、处理能力、内存等 ......
Java基础复习——网络编程
# 网络编程 ## 网络通信 1. 概念：两台设备之间通过网络实现数据传输 2. 网络通信：将数据通过网络从一台设备传输到另一台设备 3. java.net包下提供了一系列的类或接口，供程序员使用，完成网络通信 ## 网络 1. 概念：两台或多台设备通过一定物理设备连接起来构成了网络 2. 根据网络 ......
即时通讯技术文集（第19期）：IM架构设计基础知识合集 [共13篇]
为了更好地分类阅读 52im.net 总计1000多篇精编文章，我将在每周三推送新的一期技术文集，本次是第19 期。 [-1-] 微信后台基于时间序的新一代海量数据存储架构的设计实践 [链接] http://www.52im.net/thread-2970-1-1.html [摘要] 时隔3年，微信 ......
JS/Jquery检查网络路径文件是否存在
var url='网络文件路径'; var isExists; $.ajax(url, { type: 'HEAD', dataType: 'text', async: false, success: function () { isExists = true; }, error: function ......
升讯威在线客服系统的并发高性能数据处理技术：高性能TCP服务器技术
客户组织多名客服上线后，所有员工**同一时间**打开访客页面**疯狂不停**的给在线客服发消息，系统稳定**无异常无掉线**，客服回复消息正常。消息**实时到达**无任何延迟。我会通过一系列的文章详细分析升讯威在线客服系统的并发高性能技术是如何实现的，使用了哪些方案以及具体的做法。 ......
网络八股6
1、物理层主要做什么事情？ 物理层是 OSI 模型中最低、最基本的一层，简单的说，网络的物理层面确保原始的数据可在各种物理媒体上传输。 2、主机之间的通信方式有哪些？ 单工通信：单向通信，发送方和接收方是固定的，消息只能单向传输。例如采集气象数据、家庭电费，网费等数据收集系统，或者打印机等应用主要采 ......
网络八股5
1、MAC 地址和 IP 地址分别有什么作用？ MAC 地址是（数据链路层）和（物理层）使用的地址，是写在网卡上的物理地址。MAC 地址用来定义网络设备的位置。IP 地址是（网络层和以上各层）使用的地址，是一种逻辑地址。IP 地址用来区别网络上的计算机。 互联网中主机之间相互传递数据的逻辑是：先通过 ......
网络八股4
1、IP 协议的定义和作用是什么？ ip (Internet Protocol) 互联网协议。网络层是整个互联网的核心，网络层向上只提供简单灵活的、无连接的、尽最大努力交互的数据报服务。 ip 地址是一个数字标签，例如 192.0.2.1 ，用于与使用 ip 协议进行通信的计算机网络连接，IP 地址 ......
ICML 2023 | 神经网络大还是小？Transformer模型规模对训练目标的影响
前言 本文研究了 Transformer 类模型结构（configration）设计（即模型深度和宽度）与训练目标之间的关系。结论是：token 级的训练目标（如 masked token prediction）相对更适合扩展更深层的模型，而 sequence 级的训练目标（如语句分类）则相对不适合 ......
前端模块化开发技术的发展趋势
说起模块化开发大家想必都不陌生，特别是随着前端应用复杂化，代码呈倍数增长，我们不得不耗费大量的时间去进行管理，模块化也就逐渐的被大家所接受。 ......
方法论：程序员技术学习
# 关于学习新技术 1. 先看视频，因为对一个没有基础的东西，视频可以快速入门 2. 当从视频中了解到工具的使用方法后，开始敲代码。 3. 对视频中的代码，一定是视频看完后再敲，即在看第一遍视频时，绝对不敲视频中的代码。如果是为了加深印象，可以一边看一边敲。 4. 多上招聘的网站上看看，去看专业的I ......
使用“文心一言”编写技术博文《搭建企业知识库：基于 Wiki.js 的实践指南》
本文分享了使用“文心一言”编写技术博文的全过程，整体看来，体验还是蛮不错的。通过实验，文心可以完成除技术细节或具体业务之外的文案的编写，以本文为例，文心编写部分约1800字，最终修改和完善后字数为2500字，文心生成约占总文案字数的70%。可见，文心可以有效降低文案编写复杂度，并提高工作效率。 ......
14.常见网络协议
## ARP/RARP协议 广播发送请求，单播回复 ### ARP协议 （Address Resolution Protocol）地址解析协议，是根据IP地址获取物理地址的一个以太网层协议。 主机必须知道目标IP的物理地址（MAC地址）才能完成数据包的封装，向它发送数据 网段上每台主机保存ARP表或 ......
8.DHCP
## 什么是DHCP DHCP（Dynamic Host Configuration Protocol 动态主机配置协议）来动态的分配IP地址等网络参数，可以减少管理员的工作量，避免用户手工配置网络参数时造成的地址冲突。 ## Router启用DHCP 上网参数：IP地址、子网掩码、网关、DNS 需 ......
2.网络设备
# 集线器HUB 引入冲突域 处在同一冲突域中网元，只能有一个网元在享受带宽发数据，如果有两个网元在发数据，就会冲突，数据包就会受损 网络协议被分为5层 1)应用层：直接为用户的应用进程提供服务 HTTP协议，FTP协议，DNS，POP3，SNMP，Telnet 2)运输层(传输层)：负责向两个主机中进程之间的通信提供服务 (基于TCP/UDP) (1)传输控制协议TCP(Transmission Control P ......
[原创]IOCP网络模型设置AcceptEx超时
关键字：IOCP防止恶意链接;iocp检测只连接不发送数据;iocp设置AcceptEx超时;iocp防止ddos 问题起因：（2008年的文章）https://bbs.csdn.net/topics/250032963 在写服务器程序，比较常见的一个问题是，当socket 连上来以后，它可能继没有 ......
网络安全之路
## Linux - [网络安全-虚拟环境配置](https://www.cnblogs.com/hkwJsxl/p/17680833.html) - [网络安全-Linux常用命令](https://www.cnblogs.com/hkwJsxl/p/17680839.html) - [网络安全- ......
电路与电子技术基础(1)
# 电子与电子技术基础初步 ## 电路的组成 1. 电源 例如: 蓄电池和干电池: 化学能转换成电能 2. 负载 实际的负载包括电动机、电动工具和家用电路 3. 导线 4. 开关 ## 电路的作用 1. 电能的传输、转换 2. 信号的传递、处理 ## 电路的基本物理量 > 大写直流--不变 > 小写 ......
深入理解零拷贝技术
注意事项：除了 Direct I/O，与磁盘相关的文件读写操作都有使用到 page cache 技术。 数据的四次拷贝与四次上下文切换 很多应用程序在面临客户端请求时，可以等价为进行如下的系统调用： File.read(file, buf, len);Socket.send(socket, buf, ......
循环神经网络--基于pytorch框架
import matplotlib.pyplot as plt import math import torch from torch import nn from torch.nn import functional as f from d2l import torch as d2l batch_ ......
初识网络爬虫基本原理
首先精心选择一些URL，把这些精心选择的URL放入URL队列中，从对列中捉取代取的URL读取URL之后开始解析DNS，把这些URL下载下来放入网页库中。 基本流程就是：发送请求－获取响应内容－解析内容－保存数据。 从网络爬虫的角度可以把互联网分为五种 １；已下载未过期网页 ２；已下载过期网页 ３；待 ......
Paddle图神经网络训练-PGLBox代码阅读笔记
| 图存储部分 | | | | | | | | paddle/fluid/framework/fleet/heter_ps | graph_gpu_wrapper.h | GPU图主入口 | | | graph_gpu_ps_table.h | GPU图的主要存储结构，neighbor采样等都在这里 ......
decode encode 网络传输相关
JSON数据格式是一个统一的标准， socket传输的是字节，需要将字符串转成字节 序列化 反序列化 序列化、反序列化、编码、解码的关系： 此段来自苑昊老师的视频讲解： 比如： 后端用python写的，比如python有个数据想传给前端， 例如一个字典数据 info = {"name":"李凤娟", ......
喜讯！极限科技再次中标中国移动云 Elasticsearch 自研版技术开发服务项目！
喜讯！极限科技 **再次中标** 中国移动云 Elasticsearch 自研版技术开发服务项目！ 近日，极限科技再次成功中标中国移动苏州研发中心 《云能力中心 2023—2024 年移动云 Elasticsearch 自研版技术开发服务项目》。实现了个性化搜索及聚合分析，更稳定可靠地支持万亿级数据 ......
计算机网络（数据链路层）
1. **链路、数据链路和帧** * 链路：从一个节点到相邻节点的一段物理线路（有线或无线），而中间没有任何其他的交换节点 * 数据链路：基于链路。当在一条链路上传送数据时，除需要链路本身，还需要一些必要的通信协议来控制这些数据的运输，把实现这些协议的硬件和软件加在链路上，就构成了数据链路。 * 计 ......
Java中Linux环境如何正确的获取本机ip地址方式
背景 当我们使用以下代码获取本机Ip时，明明本地测试成功，上到测试环境ip却不正确 InetAddress localHost = InetAddress.getLocalHost(); 在Windows上测试 192.176.113.170 在Linux上测试 127.0.0.1 原因 在Linu ......