526互联

SQL占用yarn资源监控

发布时间 2023-07-20 17:59:18作者: 人不疯狂枉一生

1.背景

    接上次自定义Hivehook后，此次主要是把下半段yan资源使用情况统计功能实现，从而实现对SQL占用情况统计，达到提取出慢SQL，高耗资源的SQL。

2.实施

    上次实现了提交的任务ID和Application_id的关联，这次主要每隔2分钟执行一次应用资源占用情况。

 具体实现代码，可以关注公众号码农独白，回复yarn资源监控获取