这个坑值得记一笔。新做的 800 条评测集由两名标注员独立打标，算出来 Cohen kappa 只有 0.62，模型分数在 0.7 上下浮动，已经分不清是模型不行还是标注太糊。
刚开始盯着「样本里有 15% 本身存在歧义」，折腾了半个多小时，排掉了。
排查方向其实有限，先把可能性排一排。标注规范里对边界情况没有定义；两人对“部分正确”的理解不同；没有做标注校准就直接算了总分。
第一件事是按类目算一致性找出分歧集中的类
python kappa.py --file labels.csv --by category再往下抽 50 条分歧样本对齐判定口径
python sample_dispute.py --file labels.csv --n 50 --out dispute.jsonl修订规范后重标分歧部分
python relabel.py --file dispute.jsonl --guide guide_v2.md等前面都确认过，再重算一致性再决定是否作为基线
python kappa.py --file labels_v2.csv --overall别只看报错消失，验证要多做一步。kappa 从 0.62 提到 0.81，模型分数的置信区间收窄到正负 2 分，分歧样本的判定口径写进了规范。
提醒一点。一致性低于 0.7 的评测集不该拿来比较模型，先修规范和样本歧义；分数波动小于标注噪声时，任何结论都不成立。改动前把原配置备份一份，出问题能马上回滚，这比任何技巧都实用。