for i in range(3):
try:
run_batch(); break
except Exception:
time.sleep(3 ** i)
脱敏任务跑批失败,日志里只有一行 error,任务表状态还是 running,积压了二十万条没处理。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。
追下去是这么回事:任务框架没有失败重试,异常被 catch 住只打了日志,状态字段没有回写。第二天调度看到 running 就跳过,越积越多。
「脱敏任务重试」排查到最后往往是很小的一处差异,前面那些复杂猜测可以先放一放。权限不要一口气开到最大,先加到够用再往上试,范围小才好收。
把复现步骤压到三条以内,交给同事也能跑出来,才算真的定位清楚。改动写完就同步给同事,下一个人踩同一个坑,成本还是你的。
验证用真实数据走一遍,测试数据太干净,边界情况根本碰不到。
处理上按这个顺序:失败写回 failed 状态并带错误摘要;按三次指数退避重试;超过次数进死信队列并告警;每天核对积压量 超阈值人工介入。
确认没问题再收工,失败任务能自动重跑 积压量回到零并保持两天。
