记录一下那天晚上的排查过程。采集了两千篇技术文，标题和首段都改写过，仍被判重复，抽查发现正文和原文相似度还有 92%，代码块完全一样。
刚开始盯着「同一批内容在多个站点同时发布，先发的被判原文」，折腾了半个多小时，排掉了。
这类报错背后常见的原因有几处，逐个排除就行。只改了标题和开头，正文段落原样保留。也可能是代码块和配图完全一致，特征明显。
少数情况下是页面缺少作者和时间等归属信息。
第一件事是抽样算正文相似度
python -c "import difflib;print(difflib.SequenceMatcher(None,open('a.txt').read(),open('b.txt').read()).ratio())"接着重写正文而不是只改标题
wc -c article.txt补上本地实测步骤和截图
grep -c '截图' article.md等前面都确认过，再删掉无法改写的低价值篇目
SELECT ID FROM posts WHERE source='collect' LIMIT 50;怎么算真的好了，看的是同一批现象。抽查稿件的相似度降到六成以下，被合并的条目重新进索引。
补一句。改标题不会改变正文指纹，重复判定看的是内容主体。监控比日志更早给出信号，事后回看经常能提前半小时发现异常。