这类问题我又碰上了一次。上周数据库维护设了四小时静默,期间推理服务真的挂了 40 分钟没人知道,事后发现静默规则按服务名全局匹配,把无关告警一起压掉了,值班同学以为静默期不会出问题。

第一反应是「静默没有到期提醒与审批」,验证下来不成立。

排查方向其实有限,先把可能性排一排。静默条件写得太宽,匹配了整个服务;维护窗口覆盖了关键告警;值班人员默认静默期内不会出问题。

静默只匹配维护对象与实例标签

python silence.py --instance db-01

再往下关键告警排除在静默之外

python silence.py --exclude ServiceDown

接着设置静默到期提醒

python silence.py --notify-before 15m

复盘统计静默期内被压掉的告警

python alert_stat.py --window 4h

怎么算真的好了,看的是同一批现象。维护期无关告警正常发出,静默只影响目标实例,到期后自动恢复,复盘能列出被压掉的告警。

静默是按标签匹配的,条件写宽等于给整个系统关灯,维护窗口要限定到实例级别并保留关键告警。报错文案容易误导,真正的原因往往在相邻那一层的日志里。

作者 9823189