526互联

Spark任务提交到Yarn状态一直是Accepted

发布时间 2023-08-25 23:33:44作者: chenxii81

现象

今天提交 Spark 任务到 Yarn 集群，但是任务状态一直是 Accepted:

23/08/25 14:59:55 INFO Client: Application report for application_1692971614101_0018 (state: ACCEPTED)

原因

前端时间也遇到这个问题，是因为 Yarn 集群健康节点是 0，不健康的节点点进详情显示：

1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop/hadoop-3.2.4/tmp/nm-local-dir : used space above threshold of 90.0% ] ;
1/1 log-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop/hadoop-3.2.4/logs/userlogs : used space above threshold of 90.0%

磁盘空间不足。
ubuntu--vg-ubuntu--lv（因为 /tmp 目录在这个磁盘上？）

解决方案

扩容 ubuntu--vg-ubuntu--lv

  1. vgdisplay 查看磁盘信息
  2. 扩容命令:
lvextend -L 10G /dev/mapper/ubuntu--vg-ubuntu--lv      //增大或减小至19G
lvextend -L +10G /dev/mapper/ubuntu--vg-ubuntu--lv     //增加10G
lvreduce -L -10G /dev/mapper/ubuntu--vg-ubuntu--lv     //减小10G
lvresize -l  +100%FREE /dev/mapper/ubuntu--vg-ubuntu--lv   //按百分比扩
  1. 执行命令
resize2fs /dev/mapper/ubuntu--vg-ubuntu--lv
  1. 确认修改后的容量:
vgdisplay

内容参考:

知乎-如何扩大ubuntu的ubuntu--vg-ubuntu--lv空间