kubectl get job import-20261114 -o jsonpath='{.spec.template.spec.restartPolicy}'
kubectl patch job import-20261114 -p '{"spec":{"template":{"spec":{"restartPolicy":"OnFailure"}}}}'

Job 的 Pod 失败后一直重启,restartPolicy 写的是 Always,Job 状态卡在 Running 两天。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。

追下去是这么回事:Job 只接受 Never 和 OnFailure,Always 会让 kubelet 无限重启同一个容器,Job 控制器等不到终态。backoffLimit 统计的是 Pod 失败次数,不是容器重启次数。

「重启策略选错」确认了原因之后,改动尽量只碰那一处,顺手改的东西后面最容易出问题。同一份配置存在多处的,先确认改的是被加载的那一份。

新版本先放一台机器上跑一天再全量,问题一般在这段时间暴露。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。

接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。偶发问题先统计频率,一小时几次和一天一次,查法完全不同。

处理上按这个顺序:把 restartPolicy 改成 OnFailure 或 Never;设置 backoffLimit 限制重试次数;加 activeDeadlineSeconds 超时让 Job 失败而不是挂着;用 kubectl get job 的 CONDITIONS 确认 Complete 或 Failed。

确认没问题再收工,Job 在重试三次后变成 Failed 或者一次成功变成 Complete 不再长期 Running。

作者 9823189