526互联

Hadoop 配置日志聚集

发布时间 2023-12-01 17:32:56作者: SpringCore

本文章的前置Hadoop-3.3.6分布式集群搭建步骤
概念：
集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。
注意：需要重启NodeManage、ResourceManager和HistoryServer来开启日志聚集功能。

1.配置yarn-site.xml

  <!-- 开启日志聚集功能 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 设置日志聚集服务器地址 -->
  <property>
    <name>yarn.log.server.url</name>
    <value>http://192.168.58.130:19888/jobhistory/logs</value>
  </property>

  <!-- 设置日志保留时间为7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

2.重启相关服务

mapred --daemon stop historyserver
sbin/stop-yarn.sh

sbin/start-yarn.sh
mapred --daemon start historyserver