大文件传输方案-526互联

1.项目背景

项目后端框架是springboot，后端与后端之间需要进行文件传输，这个文件大小从几兆到10G不等，当文件太大时，传输可能存在失败超时等各种问题。所以涉及这种大文件传输时，直接传输是不可行的，需要有其他方式进行传输，传输的方式主要有两种：
1.http协议
传输的文件大小有限制，当文件越大时，传输较慢，而且会占用应用需要的内存，所以这种方式传输需要对文件进行拆分，将大文件拆分成小文件后再按小文件传输。

2.ftp/minio等三方传输
在接收端搭建ftp/minio等三方的文件存储服务器，然后通过接口向服务器传输数据，这种传输方式对文件大小限制较小，不需要拆分，而且文件越大，与http协议相比传输的效率是越快的。

2.解决方案

1.文件拆分传输
文件拆分代码：

public static void splitFile(String filePath, String outputPath){
        File file=new File(filePath);
        RandomAccessFile in=null;
        RandomAccessFile out =null;
        long length=file.length();//文件大小
        log.info("需要上传的zip文件大小为:{}kb",length/1024);
        long splitSize=50*1024*1024;//单片文件大小,50M
        long count=length%splitSize==0?(length/splitSize):(length/splitSize+1);//文件分片数
        byte[] bt=new byte[1024];
        try {
            in=new RandomAccessFile(file, "r");
            for (int i = 1; i <= count; i++) {
                out = new RandomAccessFile(new File(outputPath+"/"+file.getName()+"."+i+".part"), "rw");//定义一个可读可写且后缀名为.part的二进制分片文件
                long begin = (i-1)*splitSize;
                long end = i* splitSize;
                int len=0;
                in.seek(begin);
                while (in.getFilePointer()<end&&-1!=(len=in.read(bt))) {
                    out.write(bt, 0, len);
                }
                out.close();
            }
            log.info("文件分片成功，filePath={}",filePath);
        } catch (Exception e) {
            log.error("文件分片失败,error:", e);
        }finally {
            try {
                if(out!=null){
                    out.close();
                }
                if(in!=null){
                    in.close();
                }
            } catch (IOException e) {
            }
        }
    }

文件合并代码：

public static void mergeFile(String splitDir,String newFilePath){
        File dir=new File(splitDir);//目录对象
        File[] fileArr=dir.listFiles(new FilenameFilter() {//分片文件
            @Override
            public boolean accept(File dir, String name) {
                return name.endsWith(".part");
            }
        });
        List<File> fileList = Arrays.asList(fileArr);
        Collections.sort(fileList, new Comparator<File>() {//根据文件名称对fileList顺序排序
            @Override
            public int compare(File o1, File o2) {
                int lastIndex11=o1.getName().lastIndexOf(".");
                int lastIndex12=o1.getName().substring(0,lastIndex11).lastIndexOf(".")+1;
                int lastIndex21=o2.getName().lastIndexOf(".");
                int lastIndex22=o2.getName().substring(0,lastIndex21).lastIndexOf(".")+1;
                int num1=Integer.parseInt(o1.getName().substring(lastIndex12,lastIndex11));
                int num2=Integer.parseInt(o2.getName().substring(lastIndex22,lastIndex21));
                return num1-num2;
            }
        });
        RandomAccessFile in=null;
        RandomAccessFile out =null;
        try {
            out=new RandomAccessFile(newFilePath, "rw");
            for(File file:fileList){//按顺序合成文件
                in=new RandomAccessFile(file, "r");
                int len=0;
                byte[] bt=new byte[1024];
                while (-1!=(len=in.read(bt))) {
                    out.write(bt, 0, len);
                }
                in.close();
            }
            log.info("文件合成成功,splitDir={},newFilePath={}", splitDir, newFilePath);
        } catch (Exception e) {
            log.error("文件合成失败,splitDir={},newFilePath={}", splitDir, newFilePath);
        }finally {
            try {
                if(in!=null){
                    in.close();
                }
                if(out!=null){
                    out.close();
                }
            } catch (IOException e) {
            }
        }
    }

2.minio/http传输
参考minio/ftp部署文档先搭建minio或者ftp服务器，使用它们提供的api即可。

3.并发问题

上面提高的文件拆分传输方案是串行传输，当传输到最后一个文件时，需要有个字段标识是最后一个，然后这次接受完数据就可以将分片的文件进行合并。但是，当传输不是串行而是并行时，文件接受的顺序不一定是发送文件的先后顺序，所以没办法根据发送顺序来决定是否合并，可以使用java的CountDownLatch来辅助，需要接受的文件个数可以通过发送端传送过来，当传送一个后CountDownLatch计数建1，当为0时执行合并。

参考文章：http://blog.ncmem.com/wordpress/2023/10/19/%e5%a4%a7%e6%96%87%e4%bb%b6%e4%bc%a0%e8%be%93%e6%96%b9%e6%a1%88/

欢迎入群一起讨论