这类问题我又碰上了一次。用 gpt-4o 做裁判给同一批 100 条答案打分，两次运行均分差 2.1 分，个别样本差到 4 分，评分细则只写了「准确性、完整性各占一半」。
第一反应是「答案顺序影响判断，存在位置偏差」，验证下来不成立。
这类报错背后常见的原因有几处，逐个排除就行。裁判模型有采样随机性，温度没锁；评分细则太粗，边界案例每次理解不同；分数是整数，粒度粗放大了波动。
第一件事是把温度锁 0 并固定随机种子重跑
python judge.py --model gpt-4o --temperature 0 --seed 7细则改成可勾选的检查项再加总
python judge.py --rubric rubrics/qa_v2.yaml同一答案正反两种顺序各打一次取平均
python judge_pair.py --swap-order --in answers.jsonl测两次运行的一致性再决定是否采用
python agreement.py --a run1.jsonl --b run2.jsonl怎么算真的好了，看的是同一批现象。两次运行均分差收敛到 0.5 分以内，逐条一致性系数超过 0.8，分歧样本能被人工复核定位。
提醒一点。裁判也是模型，波动是固有的，先量化一致性再谈绝对分数，评分项越具体一致性越高。如果同一现象隔几天又出现，说明根因没找到，别当偶发处理。