事情本身不复杂,线索都在日志里。3 万条摘要任务跑了两小时,中途改了 prompt 模板并热更新,前 1.2 万条旧口径,后 1.8 万条新口径,验收时被判为不一致要全部重跑。

第一反应是「结果里没有落 prompt 版本字段」,验证下来不成立。

真正麻烦的地方在于,几个原因的现象几乎一样。模板热更新没有版本号,任务直接读最新。另一种情况是断点续跑没记录当时用的模板。

少数情况下是配置中心推送没有灰度,全量生效。

动手时先把模板版本写进每条结果

python batch.py --prompt-file sum_v3.txt --tag prompt_version=sum_v3

然后按版本统计条目分布

jq -r '.prompt_version' result.jsonl | sort | uniq -c

只重跑旧版本那部分

python rerun.py --in result.jsonl --where 'prompt_version=="sum_v2"' --prompt sum_v3.txt

等前面都确认过,再重跑后校验风格一致性

python audit_style.py --in result.jsonl --ref sample_v3.txt

怎么算真的好了,看的是同一批现象。所有结果的 prompt_version 都是同一版本,风格抽检通过,验收不再出现两套口径混在一起。

容易忽略的是,批量任务一旦开跑就冻结模板,改模板要新开一批,把版本写进结果是最便宜的保险。同一份配置在测试环境跑通,不代表线上没事,两边的默认值经常不一样。

作者 9823189