底层netty
用Netty实现一个简单全双工通信
用Netty实现一个简单全双工通信 如题，需要注意在ByteBuf使用的过程中要使用buf.retain()保证buf引用计数大于0，才能够正常使用否则会报异常，原因是pipeline上的handler都是使用NIO线程执行的，因此使用buf的handler和tail handler（最后调用b ......
Netty-操作篇
服务端创建步骤 步骤一：创建ServerBootstrap实例。 步骤二：设置并绑定Reactor线程池。 步骤三：设置并绑定服务端Channel。 步骤四：链路建立的时候创建并初始化ChannelPipeline（非必须）。 用于处理网络事件： 1.链路注册、激活、断开、发生异常 2.接收到请求消 ......
Netty-基础篇（4）
不使用Java原生NIO编程的原因 1、NIO的类库和API复杂，使用麻烦 2、需要具备其他的额外技能做铺垫，例如熟悉Java多线程编程 3、可靠性能力补齐，工作量和难度都非常大。例如客户端面临断线重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等问题。 4、JDK NIO的BUG，例如 ......
Netty-基础篇（3）
UNIX网络编程I/O模型 1.阻塞I/O模型（BIO，同步阻塞I/O） 2.非阻塞I/O模型（NIO，非阻塞I/O） 3.I/O复用模型 4.信号驱动I/O模型 5.异步I/O（AIO,事件驱动I/O） 传输 1.OIO-阻塞传输 2.NIO-异步传输 3.Local-JVM内部的异步通信 4.E ......
Netty源码学习4——服务端是处理新连接的&netty的reactor模式
系列文章目录和关于我 零丶引入 在前面的源码学习中，梳理了服务端的启动，以及NioEventLoop事件循环的工作流程，并了解了Netty处理网络io重要的Channel ，ChannelHandler，ChannelPipeline。 这一篇将学习服务端是如何构建新的连接。 一丶网络包接收流程 当 ......
Netty-基础篇（2）
ByteBuf——Netty的数据容器 概念：Netty提供的字节容器，可以对字节进行高效操作，包括读写、查找等。 数据处理组件 1.abstract class ByteBuf 2.interface ByteBufHolder ByteBuf API的优点： 1.它可以被用户自定义的缓冲类型扩展 ......
C++ STL 容器底层实现
一、关键词 I：容器 1、顺序容器：底层是链表和数组 array(数组)、vector(可变数组)、deque(双端队列) forward_list(单向链表)、list(双向链表) 2、关联容器：底层是红黑树 set(集合)、mulitset(可重复元素的集合) map(字典)、multimap( ......
Netty-基础篇
核心组件 EventLoopGroup 概念：由一个或多个EventLoop组成的组，用于处理所有的Channel的I/O操作，可以将其看作是一个线程池。 1.包含多个EventLoop。 2.EventLoopGroup将为每个新创建的Channel分配一个EventLoop。在每个Channel ......
netty tls单向认证通讯
需求背景 项目主要分为监管侧和企业侧，企业侧实时上传数据到云端，云端汇聚业务数据，上传过程需要保证传输的安全性。 技术实现 数据上传考虑到用HTTPS或者是TCP + TLS传输。其实使用HTTPS传输协议是比较简单的，但是项目硬件使用的4G无线网卡，而且需要实时检测设备运行状态，所以使用了TCP ......
Netty - 快速开始
一、为什么使用Netty 1. NIO的缺点 NIO的类库和API繁杂，学习成本高，你需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。 需要熟悉Java多线程编程。这是因为NIO编程涉及到Reactor模式，你必须对多线程和网 ......
MYSQL 事务的底层原理
事务的底层原理 在事务的实现机制上，MySQL 采用的是 WAL：Write-ahead logging，预写式日志，机制来实现的。 在使用 WAL 的系统中，所有的修改都先被写入到日志中，然后再被应用到系统中。通常包含 redo 和 undo 两部分信息。 为什么需要使用 WAL，然后包含 red ......
Netty（二）文件编程
Netty（二）文件编程 1 FileChannel 不能够直接打开FileChannel，只能够通过FileInputStream、FIleOutPutStream和RandomAccessFile的getChannel()方法来获取FileChannel FileInputStream获得的ch ......
Netty（三）网络编程
Netty（三）网络编程 1 阻塞和非阻塞 堵塞： 在没有数据可读的时候，包括数据复制的过程，线程必须堵塞等待，不会占用CPU但是线程相当于闲置 在单线程下，两个堵塞的方法会相互影响，必须使用多线程，32位JVM一个线程320K，64位JVM一个线程1024K，为了减少线程数，需要采用线程池技术 但 ......
Netty（四）NIO多线程优化
Netty（四）NIO多线程优化 前面的代码都只有一个选择器，没有充分利用多核CPU，因此可以分两组选择器 boss：单线程配一个选择器，专门处理accept事件，不负责数据的读写 worker：创建CPU核心数的线程，每个线程配一个选择器，轮流处理read事件 1 多线程问题分析 关键是这一部 ......
Unity底层是如何处理C#的
在面试中，我们经常会被问到Unity的底层是如何处理C#,本节给通过一下3个点来给大家详细的分析这个问题: (1) C#的发展历史; (2) Unity为什么用C#； (3) il2cpp解决了什么问题; C#的发展历史 C#没有出来之前，当时Java凭借Java虚拟机+Java字节码解释执行,让J ......
Netty
IO模型 阻塞IO 客户端与服务端通过IP与断开进行流传输，客户端与服务端传输数据是以阻塞的方式进行传输的，在传输的过程中，其他客户端请求将会阻塞调，无法处理其他客户端的连接，可以利用多线程来尽量的处理多个客户端请求，但是线程消耗的资源是有限的，所有这种IO模型无法适用于大并发从场景下。服务端需要一 ......
缺乏底层知识的空中楼阁之——HashMap
HashMap HashMap是基于哈希表对Map接口的实现 HashMap提供所有可选的映射操作，允许使用空键空值 new HashMap<>().put(null,null) 当存在多个线程同时写入HashMap时，可能会导致数据的不一致 HashMap的底层实现： loadFactor thr ......
深入Go底层原理剖析和源码解读，重写Redis中间件实战积累大型项目经验
Go 中的runtime 类似 Java的虚拟机，它负责管理包括内存分配、垃圾回收、栈处理、goroutine、channel、切片（slice）、map 和反射（reflection）等。Go 的可执行文件都比相对应的源代码文件要大很多，这是因为 Go 的 runtime 嵌入到了每一个可执行文件 ......
通关Go语言，从基本原理到项目实战，由浅入深Go的底层原理与核心特性
通关Go语言，从基本原理到项目实战，由浅入深Go的底层原理与核心特性 go核心原理 本人在一家go技术栈工作2年有余，因此梳理一下我认为比较重要的go语言技术知识，一些基础的概念，比如function, interface这些就忽略了。 https://draveness.me/golang/ ht ......
go 里面数组切片[:] 底层是复制一个新的
package ethereum import ( "testing" "unsafe" ) func Test1(t *testing.T) { a := "dafasdf" b := a[:] println(unsafe.Pointer(&a)) //0xc000063e78 println( ......
Java 基础 - 多态（动态绑定）的底层原理：虚函数表
为了实现Java方法调用的动态绑定，HotSpot使用了与C++虚函数类似的机制，同时为了避免每个对象都维护一个虚函数表，就是设计了Oop-Klass模型，用Klass类保存类的元数据和虚函数表。 多态的理解 从java语言层面看，多态是指在编译期间不确定实际类型，在运行期间才根据实际类型调用具体的 ......
【Netty】使用Netty搭建简易Sokect客户端
直接上代码 创建客户端，连接到服务端，并发送消息： /** * 发送一条消息到socket服务端 */ private void sendOne(String rawMessage) { NioEventLoopGroup group = new NioEventLoopGroup(); try { ......
spark由于shuffle中read过大造成netty申请DirectMemor异常（转）
1.报错日志： WARN TaskSetManager: Lost task 29.0 in stage 22.0 (TID 1851, wn108-cdlcns.bjduloineequ3adfbkrpgi4p2c.shax.internal.chinacloudapp.cn, executo ......
class底层原理分析
表面上是: class + 类名 会把类构造出来 实际上是: 元类实例化产生类 这个对象 # 类实例化产生对象, 一定是: 类名() # Person 类是有type实例化产生,传一堆参数 # type() 调用类的__init__方法 # type() # 如果想要控制类的产生过程,就要用 typ ......
spark on k8s环境下不重新打镜像实现celeborn client或其他底层jar包升级
博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/17792469.html 前言 Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器 SQL。Apache Celeborn 是一个Remote Shuffle Serv ......
用springBoot、netty写TCP客户端/服务端，并用TCP工具测试
1.启动客户端和连接服务端 package com.pkx.cloud.test.netty; import io.netty.bootstrap.Bootstrap; import io.netty.channel.*; import io.netty.channel.nio.NioEventLo ......
Unity 跨平台底层如何处理C#代码
在面试中，我们经常会被问到Unity的底层是如何处理C#,本节给通过一下3个点来给大家详细的分析这个问题: (1) C#的发展历史; (2) Unity为什么用C#； (3) il2cpp解决了什么问题; 对啦！这里有个游戏开发交流小组里面聚集了一帮热爱学习游戏的零基础小白，也有一些正在从事游戏开发 ......
Netty实践 -- Netty处理粘包拆包
TCP 粘包/拆包 TCP是以流的方式来处理数据， 拆包：一个完整的数据包可能会被TCP拆分成多个包进行发送。 粘包：TCP 可能把多个小的包粘成一个大的数据包。 粘包拆包示例： 服务端 EchoServer： /** * 服务端收到客户端的消息后，会进行响应。 */ public final cl ......
Java基础 read (char[] buffer) 底层原理
FileReader fr = new FileReader("E:\\Java基础资料\\a.txt");char[] chars = new char[2];while (true) { int len = fr.read(chars); if (len == -1) break; System ......
Golang Map底层实现简述
Go的map是一种高效的数据结构，用于存储键值对。其底层实现是一个哈希表（hash table），下面是有关map底层实现的详细介绍： 哈希表： map的底层实现是一个哈希表，也称为散列表。哈希表是一个数组，其中每个元素被称为"桶"，用于存储键值对。 哈希表的大小是可动态调整的，当存储的键值对数量达 ......