3 万字文档按 2000 字切片,相邻片重叠 500 字,同一段结论在最终摘要里出现两次。碰到这种情况,我一般先确认改动有没有真的生效。

原因不复杂,切片时加了重叠防止语义断裂,合并阶段没有去重,重叠部分被当成两次独立内容。

「长文本分片重复」相关的日志我一般连着看前后五分钟,单看一条报错经常判断不出是哪一步失败。改完顺手把文档补一句,省得下次自己重新推一遍。

python -c "print(len(open('doc.txt').read()))"
grep -c '营收同比' summary.txt

监控和日志的时间要对上,时区不一致会多绕很大一圈。临时改动用注释写上日期和原因,过两周自己都记不清为什么这么写。

动手前把原文件复制一份带时间戳,出问题立刻换回去,比现场分析快得多。

具体做法是,重叠区在合并时按位置去重;或者改成按段落边界切 不加固定重叠;合并 prompt 里说明重复内容只保留一次;用已知重复段落做回归。

最后用这个标准收尾,摘要里同一结论只出现一次 关键数字没有重复。

作者 9823189