AI 批量稿上线三个月 九成停在已抓取未编入索引

先把当时的情况摆出来。用模型批量生成了两千篇问答稿，发布三个月后九成停在已抓取尚未编入索引，后台收录数几乎没动，抓取日志里蜘蛛天天来。

把日志和配置对完，能解释这个现象的基本就这几处。同一模板套出大量结构相同的段落，被判低价值。也可能是内容缺少具体数据、版本号和可验证细节。

还有一种情况，批量发布节奏异常，一天上线上百篇。另外，页面之间互相抄段落，相似度高。

先抽样比对两篇的正文

curl -s https://www.example.com/qa/1 | md5sum; curl -s https://www.example.com/qa/2 | md5sum

接着统计带实测数据的篇目

SELECT ID FROM posts WHERE body LIKE '%实测%' LIMIT 10;

降低发布频率并分批提交

https://www.example.com/sitemap-qa.xml

末了把低质页面合并成一篇长文

RewriteRule ^qa/(1|2|3)$ /qa/guide [R=301,L]

恢复的判定其实很直接。四周后新一批稿件的收录率明显提高，被合并的页面不再单独占索引位。

补一句。搜索引擎判断的是页面有没有独特信息，生成方式本身不是问题，模板化才是。监控比日志更早给出信号，事后回看经常能提前半小时发现异常。