Hadoop YARN生产环境核心配置参数
发布时间 2023-12-17 13:19:58作者: SpringCore
1.ResourceManager相关
| 配置参数 |
说明 |
默认值 |
备注 |
| yarn.resourcemanager.scheduler.class |
配置调度器,默认为容量调度器(Apache) |
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler |
对并发度要求高，首选公平调度器,对并发度要求不高，则选择容器调度器 |
| yarn.resourcemanager.scheduler.client.thread-count |
ResourceManager处理调度器请求的线程数量 |
50 |
根据资源和任务的数量调控 |
2.NodeManager相关
管理单节点上面的资源
| 配置参数 |
说明 |
默认值 |
备注 |
| yarn.nodemanager.resource.detect-hardware-capabilities |
是否让yarn自己检测硬件进行配置，默认false |
false |
小白就true,大佬就false |
| yarn.nodemanager.resource.count-logical-processors-as-cores |
是否将虚拟核数当作cpu核数,默认false |
false |
强悍的cpu应该开启? |
| yarn.nodemanager.resource.pcores-vcores-multiplier |
虚拟核数和物理核数乘数，例如:4核心8线程,该参数应设置为2,默认1.0 |
1.0 |
强悍的cpu应该配置? |
| yarn.nodemanager.resource.memory-mb |
NodeManager使用内存，默认8G |
8192 |
根据实际物理内存调整 |
| yarn.nodemanager.resource.system-reserved-memory-mb |
NodeManager为系统保留多少内存,和NodeManager使用内存配置一个即可 |
-1 |
根据实际环境调整 |
| yarn.nodemanager.resource.cpu-vcores |
NodeManager使用CPU核数,默认8个 |
8 |
根据实际环境调整 |
| yarn.nodemanager.pmem-check-enabled |
是否开启物理内存检查限制container,默认打开 |
true |
推荐打开，防止内存使用溢出 |
| yarn.nodemanager.vmem-check-enabled |
是否开启虚拟内存检查限制container,默认打开 |
true |
推荐打开，防止内存使用溢出 |
| yarn.nodemanager.vmem-pmem-ratio |
虚拟内存和物理内存的比例 |
2.1 |
根据实际环境调整 |