526互联

LINUX：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

发布时间 2023-10-02 12:14:35作者: 双休日

 

如图，问题表现为linux中可直接通过hive进行数据插入

但在通过datagrip却更改不了

此时，可能时yarn的运行分配的内存较少，或堆内存溢出。在yarn-site.xml中更改，以及mapred-site.xml中更改，完成。

yarn的

<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
</property>
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
</property>

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

 <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
 </property>
 <property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx1024m</value>
 </property>

ma的

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
</property>
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
</property>