先把当时的情况摆出来。评测脚本把 gpt-4o-mini 的 temperature 设为 0、top_p 设为 1、seed 固定为 42,同一份 500 条回归集连跑三次,通过率分别是 78.2、76.8、77.6,最大差 1.4 个点,换算成分数接近 6 分。先怀疑评测集顺序有问题,打乱之后差异照旧。
这类报错背后常见的原因有几处,逐个排除就行。MoE 结构下同一输入在批量合并时结果会有细微差异。也可能是服务端批次调度不同,浮点累加顺序变化影响采样。
还有一种情况,seed 只在单次请求内有效,不保证跨请求复现。另外,评测脚本把失败重试的第二次结果也算进了统计。
固定输入连跑三次并保存每次的逐条结果
python eval.py --model gpt-4o-mini --temperature 0 --seed 42 --repeat 3 --out runs/
再往下逐条比对三次结果找出不稳定的样本
python -c "print(open('runs/diff.txt',encoding='utf-8').read().count('DIFF'))"
接着把 max_tokens 与 top_p 一起锁死,减少可变项
python -c "print({'temperature':0,'top_p':1,'max_tokens':512})"
基线改成三次的均值与波动区间,不再用单次分数
python report.py --runs runs/ --metric pass_rate
别只看报错消失,验证要多做一步。三次运行的通过率落在 0.5 个点以内,报告里同时给出均值与波动区间,模型切换前后的对比不再被噪声带偏。
补一句。温度设 0 只是降低随机性,不承诺完全确定,基线要按多次运行的分布来定,单次分数不足以判断一次改动是否有效。报错文案容易误导,真正的原因往往在相邻那一层的日志里。
