526互联

grafana + prometheus告警配置

发布时间 2023-04-21 10:16:17作者: 伊丽莎白菜

grafana支持界面化配置告警规则及路由，告警支持推送到email、webhook（钉钉、飞书或自定义的web端点）等连接点，简单易用且功能强大。
prometheus + grafana安装配置看这里。

添加钉钉机器人

配置钉钉群聊机器人，获取webhook地址,参考钉钉开发者文档;

配置连接点

选择Alerting -> Contract Points，添加钉钉webhook连接点。

测试消息如图：

通知策略配置

  1. 根策略连接点配置为钉钉

  2. 添加静默策略（例如特定日期不告警）

  3. 配置标签用于策略路由(可选，不配置直接路由到根策略)

告警配置示例

以Node Exporter中的Memory Basic面板为例，配置一个告警规则，当内存占用大于80%时触发告警。

  1. 编辑面板，选择Alert -> Create alert rule from this panel.

  2. 为规则命名，例如： Memory Basic

  3. 设置查询和告警条件

  4. 添加一些额外信息，提升告警消息可读性

  5. 选择路由标签

  6. 保存并退出。

限制条件

截止2023/4/21，grafana最新版9.4.7 Alerting功能还不支持动态参数查询，也就是说查询参数都是写死的。
比如要查询192.168.0.1~192.168.0.3的监控指标，就只能建立3条告警配置项。
好在告警规则有copy选项，copy之后改改ip就能用了。期待grafana后续版本能解决这个问题。