摘要模型换了新版提示词，BLEU 从 31.2 涨到 34.8，人工评分却从 4.1 掉到 3.6，评审反馈是句子更贴原文但漏了关键结论。
一开始怀疑是「新提示词倾向复述原文开头」，查了一圈，方向不对。
这类报错背后常见的原因有几处，逐个排除就行。BLEU 奖励字面重合 不奖励信息完整。少数情况下是参考摘要只有一份 覆盖不全。
不容易想到的是，人工评分样本量只有 50 条。
先抽 30 条对比两种输出的信息点
python diff_summary.py --a old.jsonl --b new.jsonl --sample 30补一份基于要点的评测指标
python keypoint_eval.py --pred new.jsonl --keys keys.jsonl随后把 BLEU 与要点覆盖率一起看
python report.py --metrics bleu,keypoint,human末了扩大人工评分样本到 200 条
python sample_review.py --n 200 --out review.csv改完先别撤，确认这几项。要点覆盖率与人工评分同向变化，新版在关键结论上的遗漏数明显高于旧版，结论可复现。
补一句。单一自动指标很容易被表面相似骗过，摘要类任务至少要有字面指标和要点指标两条线。同一份配置在测试环境跑通，不代表线上没事，两边的默认值经常不一样。