Netty(一)Netty简介与Java的IO模型

发布时间 2023-07-09 15:17:46作者: Tod4

Netty(一)Netty简介与Java的IO模型


1 Netty简介与应用场景

​ Netty是由JBOSS提供的一个Java开源框架,现为Github上的独立项目。

  • Netty是一个异步的、基于事件驱动的网络应用框架,用以快速开发高性能、高可靠性的网络IO程序
  • Netty主要针对在TCP环境下,面向Clients端的高并发应用,或者P2P场景下的大量数据持续传输的应用
  • Netty的本质是一个NIO框架,适用于服务器通讯相关的多种应用场景

Netty框架基于TCP/IP协议,在原生的JDK IO、网络的基础上使用NIO对IO、网络进行的封装优化的框架

image-20230705135010243

​ Netty的应用场景:

  • 分布式系统中各个节点的远程服务调用,需要高性能的RPC框架,Netty作为基础通信组件常常被这些RPC框架所使用:如阿里的分布式服务框架Dubbo的RPC框架使用Dubbo协议默认使用Netty作为基础通信组件,用于实现各进程节点之间的内部通信
  • 在游戏行业,Netty作为高性能的基础通信组件,提供了TCP/UDP以及HTTP协议栈,方便定制和开发私有协议栈,账号登录服务器

2 Java IO模型

2.1 Java IO模型简介
  • IO模型就是用什么样的通道进行数据的发送和接收(是同步的还是异步的、是单通道还是双通道、用没用到缓冲、是阻塞的还是非阻塞的等等),很大程度上决定了程序通信的性能

  • Java IO模型主要包括三种:BIONIOAIO

    • BIO同步并堵塞(传统阻塞型),服务器实现模式为一个连接一个线程,即客户端有连接请求的时候,服务器端就需要启动一个线程进行处理,如果这个连接不进行任何操作则会造成不必要的线程开销,可以通过线程池改善

      image-20230705143951034

      阻塞就是指的客户端想通过Socket套接字与客户端建立的连接没有响应或者拒绝的情况

    • NIO同步非堵塞,服务器实现模式为一个线程处理多个请求(连接),即客户端发送的连接请求会注册到多路复用器(选择器 Selector)上,然后由多路复用器轮询I/O请求进行处理

      image-20230705144021266
    • AIO:异步非堵塞,引入了异步通道的概念,采用了Proactor模式简化了程序编写,只有有效的请求才会启动线程,并且会先由操作系统完成后才通知服务器端去处理,一般适用于连接数较多且连接时间较长的应用

2.2 BIO、NIO、AIO的使用场景分析
  • BIO方式使用于连接数目比较少且固定的架构,这种方式对服务器资源要求比较高,并发局限于应用中,JDK1.4以前的唯一选择,但程序简单易理解
  • NIO方式适用于连接数目多并且连接比较短(轻操作)的架构,比如聊天服务器、弹幕系统,服务器间通讯等,编程比较负责,JDK1.4开始支持
  • AIO方式适用于连接数目多并且连接比较长(重操作)的架构,比如相册服务器,充分调用OS参与并发操作,编程比较负责JDK7开始支持

3 Java BIO

image-20230705145544182
  • BIO同步并堵塞(传统阻塞型),服务器实现模式为一个连接一个线程,即客户端有连接请求的时候,服务器端就需要启动一个线程进行处理,如果这个连接不进行任何操作则会造成不必要的线程开销,可以通过线程池改善
  • BIO方式使用于连接数目比较少且固定的架构,这种方式对服务器资源要求比较高,并发局限于应用中,JDK1.4以前的唯一选择,但程序简单易理解
  • BIO相关的类和接口在java.io包下
  • BIO编程简单流程
    • 服务器端启动一个ServerSocket
    • 客户端启动Socket与服务器端进行通信,默认情况下服务器端需要对每个客户(请求)建立一个线程与之通信
    • 客户端发出请求后,先咨询服务器端是否有线程响应,如果没有则会等待或者被拒绝(阻塞)
    • 如果有响应,则客户端线程必须在请求结束后才能继续执行(同步)
Java BIO实例

​ 下面的代码用BIO模型编写了一个服务器端,实现了:

  • 监听6666端口,当有客户端连接的时候,就启动一个线程与之通讯
  • 使用了线程池进行了完善,能够与多个客户端同时进行通讯
  • 服务器端接收客户端(使用talnet模拟)发送的数据
public class BIOServer {
    public static void main(String[] args) {
        System.out.println(Thread.currentThread().getName());
        ExecutorService cachedThreadPool = Executors.newCachedThreadPool();
        try {
            ServerSocket serverSocket = new ServerSocket(6666);
            System.out.println("服务器启动");
            while(true) {
                // 阻塞点1:主线程等待客户端连接:accept无连接会阻塞线程
                System.out.println("等待连接");
                Socket accept = serverSocket.accept();
                System.out.println("连接到一个客户端");
                cachedThreadPool.execute(() -> {
                    handler(accept);
                });
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void handler(Socket socket) {
        System.out.println(Thread.currentThread().getName());
        InputStream inputStream = null;
        try {
            inputStream = socket.getInputStream();
            byte[] bytes = new byte[1024];
            while(true) {
                // 阻塞点2:客户端无输入,read堵塞子线程
                System.out.println(Thread.currentThread().getName());
                System.out.println("等待读取输入流");
                int len = inputStream.read(bytes);
                if(len == - 1) {
                    break;
                }
                System.out.println(new String(bytes, 0, len));
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            System.out.println("关闭和client的连接");
            try {
                socket.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

    }
}

4 Java NIO

  • Java NIO全称java non-blocking IO,是JDK1.4开始提供的一系列改进的输入、输出新特性,被统称为NIO(也可以理解为New IO),是同步非堵塞
  • NIO的相关类都放在了java.nio包及其子包下,并且对原java.io包中的很多类进行了改写
  • NIO的三大核心组件Channel(通道)Buffer(缓冲区)Selector(选择器)
  • NIO是面向缓冲区的,或者是面向块编程的。数据读取到一个它稍后处理的缓冲区,需要的时候可以在缓冲区前后移动,这就增加了处理过程中的灵活性,使用它可以提供非堵塞式的高伸缩性网络
  • Java NIO的非堵塞模式,使一个线程从某通道发送请求、获取或者写入数据的时候,如果没有数据也不会堵塞等待,而是直至数据变得可以读、写之前,该线程可以继续去做其他的事情。.
  • 因此NIO可以做到用一个线程来处理多个操作
  • HTTP2.0使用了多路复用技术,使得浏览器能够做到一个连接并发处理多个请求,因此NIO的使用变得更加广泛
image-20230705180927413

Channel即数据通道,作用是完成读写任务。

Selector根据每个通道的事件来决定为哪个通道服务

每一个通道对应一个Buffer,通道和缓冲区之间是双向连接的,即二者之间是可以相互读写的;客户端不会直接读写通道的数据,而是直接和缓冲区交互,正是由于缓冲区的设置,使得客户端在读写数据的时候不会被堵塞