kubectl auth can-i list pods -n prod \ --as=system:serviceaccount:mon:prom kubectl get clusterrole prom -o yaml | grep -A5 rules
服务发现里能列出 Pod，targets 却全报 server returned HTTP status 403 Forbidden，kube-state-metrics 一条都抓不回来。先别急着动参数，把报错原文和时间点记下来，顺序反了容易白折腾。
原因不复杂，这套 ServiceAccount 只绑了读节点的权限，pods、services、endpoints 的 list 和 watch 没给，apiserver 直接挡回去。
「Prometheus RBAC」改完先别急着全量，挑一台机器放半天，真有问题这段时间就能看出来。备份不是备了就行，恢复一次才算数，很多备份文件打开才发现是空的。
接口问题先分清是没发出去、发出去了没收到，还是收到了处理失败。偶发问题先统计频率，一小时几次和一天一次，查法完全不同。
改完顺手把文档补一句，省得下次自己重新推一遍。监控和日志的时间要对上，时区不一致会多绕很大一圈。
临时改动用注释写上日期和原因，过两周自己都记不清为什么这么写。
处理上按这个顺序：用 auth can-i 逐个确认缺哪项权限；给 ClusterRole 补上对应资源和动词；重新绑定后回 targets 页面看状态。
改完只确认一件事：targets 全部 UP，kube_pod_info 这类指标能在图里查到。