IO数据拷贝的几种方式——传统、mmap、sendFile、splice

发布时间 2023-07-08 17:38:24作者: zolmk

IO数据拷贝的几种方式——传统、mmap、sendFile、splice

1. 传统IO数据拷贝方式

img
该方式下进行一次读写操作,操作系统产生了四次状态切换和四次拷贝(两次DMA两次CPU)。

2. mmap方式

mmap方法利用了操作系统虚拟内存技术,通过虚拟内存技术让用户堆缓存和内核空间的页表缓存指向同一物理地址空间,从而实现了内存映射。

在该方式下进行一次读写,操作系统产生了四次状态切换和三次拷贝(两次DMA一次CPU)。
该方式在Java中仅有一处实现,通过 FileChannelmap 函数获取 MappedByteBuffer 对象,该对象将文件数据和缓冲区进行了绑定,通过对该缓存对象进行读写,即可完成读写文件操作。
img

3. sendFile方式

Java 1.4引入了 NIO,其中 FileChannel类的 transferTo方法采用了sendFile方式来进行数据传输,而sendFile是操作系统提供的方法,可实现通道间的高效数据传输。

其中sendFile有好几个版本,早期版本中(Linux 2.1以后),sendFile仍需从页表缓存到Socket缓存的CPU拷贝。但从Linux 2.4开始,提供了带有Scatter/Gather的sendFile操作,在进行页表缓存到Socket缓存的拷贝时,仅拷贝了长度、偏移量等信息,没有对数据进行拷贝。流程如下图:
img

4. splice方式

Linux 2.6.17版本引入了splice方式,用户程序只需要提供两个已经打开的文件描述符,splice允许任意两个文件之间的连接,不限于从文件到socket,因此sendFile只是splice的一个子集。且sendFile需要硬件提供支持,而splice不需要硬件支持。