CPU 超过 80% 就告警,一天响十几条,值班的人早就把群设成免打扰,真出事那天也没人点开看一眼,全靠巧合发现。日志里能对上时间点,这种反而好排。

阈值是从别处抄来的固定值,没看这台机器平时就在 70% 上下晃,也没加持续时间,一次编译就能触发一轮,时间长了没人当回事。这一点先确认清楚,后面就不用反复试。

sar -u 1 5
uptime
cat /proc/loadavg

「告警阈值设置」排查到最后往往是很小的一处差异,前面那些复杂猜测可以先放一放。偶发问题先统计频率,一小时几次和一天一次,查法完全不同。

改完顺手把文档补一句,省得下次自己重新推一遍。

处理上按这个顺序:先拉一周的监控数据,把日常水位和峰值看清楚;加上持续时间,连续五分钟以上才发,别一抖动就喊人;按业务影响分级,只有真正影响可用性的才走电话。

结果对不对很好判断,一周内告警条数降到个位数,每一条都能对应到真实的性能问题。

作者 9823189