Netty（四）NIO多线程优化
前面的代码都只有一个选择器，没有充分利用多核CPU，因此可以分两组选择器
- boss：单线程配一个选择器，专门处理accept事件，不负责数据的读写
- worker：创建CPU核心数的线程，每个线程配一个选择器，轮流处理read事件
1 多线程问题分析
-
关键是这一部分的代码，需要保证register在worker线程启动之前执行，因为如果worker线程先执行的话就会导致在
selector.select()处堵塞，从而导致使用了这个worker selector的、运行在boss线程的register也会被堵塞无法完成socketChannel的注册，进而worker线程也一直无法关注到读事件从而被一直堵塞worker.register(sc); // 创建selector 启动worker-0线程 监听read事件 sc.register(worker.selector, SelectionKey.OP_READ, null); // boss线程，注册连接得到的socketChannel搭到创建的selector上，这行代码先执行的话会堵塞在select() -
虽然这么写boss线程先执行不会出现这个问题，但是在第一个客户端连接之后，boss线程处于select()堵塞的状态，此时再有新客户端连接的话，仍然会因为select()方法而导致影响register出现上面的问题
服务器MultiThreadServer
public static void main(String[] args) throws IOException {
Thread.currentThread().setName("boss");
var ssc = ServerSocketChannel.open();
ssc.configureBlocking(false);
ssc.bind(new InetSocketAddress(8080));
var boss = Selector.open();
var sscKey = ssc.register(boss, 0, null);
sscKey.interestOps(SelectionKey.OP_ACCEPT);
var worker = new Worker("worker-0");
while (true) {
boss.select();
var iter = boss.selectedKeys().iterator();
while (iter.hasNext()) {
var key = iter.next();
iter.remove();
if (key.isAcceptable()) {
var channel = (ServerSocketChannel) key.channel();
var sc = channel.accept();
sc.configureBlocking(false);
log.debug("connected {}", sc.getRemoteAddress());
log.debug("before register {}", sc.getRemoteAddress());
worker.register(); // 创建selector 启动worker-0线程
log.debug("{} uses selector", Thread.currentThread().getName());
sc.register(worker.selector, SelectionKey.OP_READ, null); // boss线程
log.debug("after register {}", sc.getRemoteAddress());
}
}
}
}
Worker selector类
static class Worker implements Runnable {
private String name;
private Thread thread;
private Selector selector;
private boolean start = false;
public Worker(String name) {
this.name = name;
}
public void register() throws IOException {
if (!this.start) {
this.thread = new Thread(this, this.name);
this.selector = Selector.open();
this.thread.start();
this.start = true;
}
}
@Override
public void run() {
while(true) {
try {
log.debug("{} uses selector", Thread.currentThread().getName());
selector.select();
var iter = this.selector.selectedKeys().iterator();
while (iter.hasNext()) {
var key = iter.next();
iter.remove();
if(key.isReadable()) {
var buffer = ByteBuffer.allocate(16);
var sc = (SocketChannel)key.channel();
sc.read(buffer);
debugAll(buffer);
}
}
} catch (IOException e) {
throw new RuntimeException(e);
}
}
}
}
2 netty源码针对该问题的解决思路（使用堵塞队列+selector wakeup）
-
上面的代码中，在触发accept事件后，得到连接的socketChannel并将其注册到worker selector上，其实还是在boss线程上执行的，因此需要先将这个注册的步骤放到worker启动的线程里面
-
总结上面的问题，就是在多线程环境下，可能会出现线程执行selector.select()方法被堵塞，导致其他线程无法进行register也就是channel无法注册同一个selector的情况
-
因此需要将两个操作都放到worker线程，一般会使用堵塞队列完成线程间的通信：
private LinkedBlockingQueue<Runnable> queue = new LinkedBlockingQueue<>(); public Worker(String name) { this.name = name; } public void register(SocketChannel sc) throws IOException { if (!this.start) { this.thread = new Thread(this, this.name); this.selector = Selector.open(); this.thread.start(); this.start = true; } this.queue.add(() -> { try { sc.register(this.selector, SelectionKey.OP_READ, null); // boss线程 } catch (ClosedChannelException e) { throw new RuntimeException(e); } }); selector.wakeup(); } -
这样，每当出现需要进行新客户端连接（也就是需要需要在selector上注册socketChannel的时候），就会在堵塞队列中添加需要注册socketChannel的任务，然后通过wakeup方法唤醒selector，最后worker线程就会从阻塞队列中取到任务执行注册，避免了worker线程注册的时候select方法堵塞导致boss线程无法注册的情况
3 多worker进行负载均衡优化
-
类似使用一个worker数组实现一个负载均衡，每次出现一个连接就去轮流使用worker数组的一个worker
-
代码如下：
public static void main(String[] args) throws IOException { Thread.currentThread().setName("boss"); var ssc = ServerSocketChannel.open(); ssc.configureBlocking(false); ssc.bind(new InetSocketAddress(8080)); var boss = Selector.open(); var sscKey = ssc.register(boss, 0, null); sscKey.interestOps(SelectionKey.OP_ACCEPT); var workers = new Worker[3]; for(var i = 0; i < workers.length; i++) { workers[i] = new Worker("worker-" + i); } AtomicInteger count = new AtomicInteger(); while (true) { boss.select(); var iter = boss.selectedKeys().iterator(); while (iter.hasNext()) { var key = iter.next(); iter.remove(); if (key.isAcceptable()) { var channel = (ServerSocketChannel) key.channel(); var sc = channel.accept(); sc.configureBlocking(false); log.debug("connected {}", sc.getRemoteAddress()); log.debug("before register {}", sc.getRemoteAddress()); var index = count.get(); workers[index].register(sc); // 创建selector 启动worker-0线程 index = (index + 1) % workers.length; count.set(index); log.debug("after register {}", sc.getRemoteAddress()); } } } } -
一般情况下会设置线程数为cpu的核心数：
log.debug("cpu core nums:{}", Runtime.getRuntime().availableProcessors()); var workers = new Worker[Runtime.getRuntime().availableProcessors()];注意：Runtime.getRuntime().availableProcessors()如果工作在docker容器下，因为容器不是物理隔离的，因此会去拿物理cpu的个数，而不是docker被分配的cpu个数
这个问题直到jdk10才解决，使用jvm参数UseContainerSupport配置可以默认开启获取容器配置