526互联

11.27日记

发布时间 2023-11-27 09:02:57作者: zhangmingmingkjz
尽量使用Map Join来实现Join过程，Hive中默认自动开启了Map Join：hive.auto.convert.join=true，Hive中小表的大小限制，在不同的版本中主要设置参数如下：

    -- 2.0版本之前的控制属性

    hive.mapjoin.smalltable.filesize=25M

    -- 2.0版本开始由以下参数控制

    hive.auto.convert.join.noconditionaltask.size=512000000

4.3 Reduce Join

如果map端的join处理不了的情况下，比如两个join表的数据量都比较大的时候，就要考虑使用Reduce Join；

4.3.1 使用场景

    适合于大表Join大表