amtool silence add instance=~'10.0.1.21.*' \
  --duration=4h --alertmanager.url=http://127.0.0.1:9093

给一台机器加了四小时静默,群里照旧收到它的告警,静默列表里状态是 Active,结束时间也写着明天。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。

追下去是这么回事:静默默认按等值匹配,告警上的 instance 带了端口,或者标签大小写和填的不一样,两边标签对不上,静默就形同虚设。

「Alertmanager 静默失效」改完先别急着全量,挑一台机器放半天,真有问题这段时间就能看出来。监控和日志的时间要对上,时区不一致会多绕很大一圈。

临时改动用注释写上日期和原因,过两周自己都记不清为什么这么写。动手前把原文件复制一份带时间戳,出问题立刻换回去,比现场分析快得多。

处理上按这个顺序:从告警详情里复制真实标签原样贴进 matcher;能用正则就别写等值 把端口段也一起覆盖住;保存前先看 preview 能命中几条告警。

确认没问题再收工,静默期内该实例的告警只进 Alertmanager,手机和群里都不再响。

作者 9823189