526互联

Mybatis-plus mybatis流式查询

发布时间 2023-09-26 17:21:31作者: 刘百会

传统查询是一次性取出所有数据然后处理，对上百万的数据突出两个问题：1. 处理时间长，阻塞数据库IO; 2. 一次性占用内存多，易OOM;
流式查询则使用数据库游标，查一行处理一行，消耗内存较少，不阻塞数据库IO,在大数据处理场景中推荐使用。

/**
 * (Order)表数据库访问层
 *
 * @author liudong
 * @since 2020-09-15 17:07:13
 */
@Mapper
public interface OrderDao extends BaseMapper<OrderDO> {
    /**
     * ResultType对象=ResultHandler需要处理的对象=SQL查询结果
     * 其余参数和正常一样，用@Param标记并传递
     */
    @Select("select * from Order where code=#{obj.code}")
    @Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
    @ResultType(OrderDO.class)
    void streamDoHandler(@Param("obj") OrderDO order, ResultHandler<OrderDO> handler);
}
public class OrderService {
    @Resource
    private OrderDao orderDao;
    
    public synchronized void doHandle(Consumer<OrderDO> consumer) {
        OrderDO order = new OrderDO();
        order.setCode("test");
        orderDao.streamDoHandler(order, resultContext -> {
                OrderDO order = resultContext.getResultObject();
                // 处理函数，我此处用lambda从而让可以将处理函数单独拆出来
                consumer.accept(order);
                // 当然，你也可以直接在此处理
                System.out.println(order);
        });
    }
}

参考：https://coldsmog.cn/project-4/doc-177/

        https://www.jb51.net/article/259686.htm