# loki.yaml
limits_config:
  max_streams_per_query: 5000
  max_query_series: 5000
  retention_period: 720h

Grafana 里查 Loki 直接弹 429,提示 too many outstanding requests 或者超过 max streams per query,时间范围缩到十分钟就正常。先别急着动参数,把报错原文和时间点记下来,顺序反了容易白折腾。

原因不复杂,查询没有先按标签过滤,扫过的 stream 数量顶到 limits_config 上限,多个人同时查又把租户配额吃满,只能排队。

这次卡住的地方就在「Loki 查询限流」这一环,单独把它拎出来验证,别和其他改动混在同一次发布里。改动写完就同步给同事,下一个人踩同一个坑,成本还是你的。

验证用真实数据走一遍,测试数据太干净,边界情况根本碰不到。能分两步做的操作就别合成一步,中间看一眼返回值,出问题好判断。

报错里带路径的,先去看那个路径在不在、权限对不对。

处理上按这个顺序:查询里先写 {app='nginx'} 再加过滤条件;按实际流量把 stream 上限调高一点;给仪表盘变量补上默认值 避免出现全量扫描。

改完只确认一件事:同样的查询不再返回 429,耗时从分钟级降到几秒可以接受。

作者 9823189