curl -s http://127.0.0.1:9100/metrics | head -3
ss -lntp | grep 9100
firewall-cmd --add-port=9100/tcp --permanent
firewall-cmd --reload

targets 页面上 node 目标全是 DOWN,最后一列写着 dial tcp 10.0.1.21:9100: connect: connection refused。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。

追下去是这么回事:node_exporter 只监听 127.0.0.1:9100,或者 9100 被 firewalld 拦在外面,Prometheus 从别的机器连过去被拒,进程本身却活着。

这次卡住的地方就在「Prometheus targets down」这一环,单独把它拎出来验证,别和其他改动混在同一次发布里。同一份配置存在多处的,先确认改的是被加载的那一份。

新版本先放一台机器上跑一天再全量,问题一般在这段时间暴露。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。

接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。偶发问题先统计频率,一小时几次和一天一次,查法完全不同。

改完顺手把文档补一句,省得下次自己重新推一遍。

处理上按这个顺序:先在目标机上 curl 一次本机 9100 确认进程还在;把监听地址改到 0.0.0.0 并放行 9100;核对 targets 里的地址标签有没有写错主机。

确认没问题再收工,targets 全转 UP,up 指标为 1,instance 标签和主机名对得上。

作者 9823189