526互联

sqoop导数到hive任务状态一直是Accepted或Running

发布时间 2023-05-21 11:37:07作者: chenxii81

昨天晚上装了sqoop准备将数据从pg库导入Hive库备用，写了个sqoop脚本，运行脚本本后从yarn ui上看任务状态一直 Accepted，卡了三四个小时，最后发现是 yarn-site.xml 配置问题，给的资源太少，无法运行任务。

在 yarn-site.xml 中添加下面的内容：

        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>20480</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>

昨天晚上就看到类似的解决方案，但是 yarn.nodemanager.resource.memory-mb 这个配置项只给了2g的内存。
昨天晚上搞到两点，一直想着这个问题，今天早上醒来就在手机上百度一下，想着试试，结果真解决了这个问题。

image