526互联

Hadoop Yarn 调度器多队列

发布时间 2023-12-17 14:51:19作者: SpringCore

1.容量调度器多队列

1.为何需要多队列

  1. 调度器默认就1个default队列，不能满足生产的要求。
  2. 1个队列在任务极限的情况下，容易资源耗尽。
  3. 特殊时期通过对任务的区分可以保证重要的任务队列资源充足
    • 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别多)
    • 按照业务模块区分队列，主流。

2.