# alertmanager.yml route: group_by: ['alertname'] group_interval: 10m repeat_interval: 4h
一次网络抖动引发两百条告警,恢复阶段又收到两百条 resolved,群里消息比故障那会儿还多,值班的人干脆把群静音了。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。
追下去是这么回事:send_resolved 默认开着,分组窗口又短,每条告警各自恢复各发一条,没有合并成一次事件,恢复期的噪音反而盖过故障本身。
「告警恢复通知」确认了原因之后,改动尽量只碰那一处,顺手改的东西后面最容易出问题。同类问题如果隔一段时间又出现,多半是某个定时任务或重启流程把改动冲掉了。
把这次用到的命令存进笔记,比记住结论有用,换个环境还能照着走。
处理上按这个顺序:按级别区分是否发送恢复通知 只给严重级别发;把分组间隔调大一些 让恢复消息合并成一条;再加抑制规则 把连带产生的次要告警一起压掉。
确认没问题再收工,故障恢复只收到一条汇总,状态和监控页上的当前告警数一致。
