topk(10, count by (__name__)({__name__=~'.+'}))
count by (path)(http_requests_total)

Prometheus 常驻内存从 2G 涨到 8G,series 数量一天多出四十万,查询开始超时,重启几小时后又涨回原样。先别急着动参数,把报错原文和时间点记下来,顺序反了容易白折腾。

原因不复杂,某个 exporter 把用户 ID、URL 路径、错误信息拼进了 label,每个取值都是一条新 series,基数跟着流量线性往上走,内存自然压不住。

围绕「指标基数爆炸」排查时,命令行跑一遍比在面板里点十次有用,面板会替你做掉不少隐式操作。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。

接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。偶发问题先统计频率,一小时几次和一天一次,查法完全不同。

改完顺手把文档补一句,省得下次自己重新推一遍。

处理上按这个顺序:先用 topk 找出 series 数量最多的指标名;把高基数标签从 exporter 侧删掉 或改成打日志;抓取配置里加 metric_relabel 直接丢弃。

改完只确认一件事:series 总数回落到十万以内,重启后内存稳定在 2G 附近不再爬升。

作者 9823189