遇到这种情况先别急着重装,多半是某处配置或状态没对上,按下面的顺序查一般十分钟内能看出方向。 站点有八万篇文章,sitemap.xml 只列出前五万条,GSC 里后三万篇一直停在已发现但未编入索引,怎么重新提交都没变化。

拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。

先分清是哪一类原因

  1. 单个 sitemap 文件最多五万条 URL,未压缩不超过 50MB
  2. 插件把所有地址塞进一个文件,超出部分被静默丢弃
  3. 索引文件没有引用子 sitemap,蜘蛛拿不到后续分片

按顺序处理

1. 先数清 sitemap 里实际有多少条地址

curl -s https://www.example.com/sitemap.xml | grep -c '<loc>'

2. 按两万条切分 URL 列表

split -l 20000 urls.txt sitemap_part_

3. 在索引文件里逐个引用全部分片

curl -s https://www.example.com/sitemap_index.xml

4. 提交索引文件而不是单个分片

curl -sI https://www.example.com/sitemap_index.xml

怎么确认已经恢复

索引文件能列出全部分片,GSC 显示已发现数量与实际文章数一致,不再有整段缺失,新文章当天就能被抓到。

容易忽略的地方

分片文件名不要带日期,否则每次生成都是新地址,旧的抓取记录全部作废,蜘蛛要重新排队。 处理过程中建议每改一项就验证一次,避免多个变量同时变化导致判断失真。

作者 9823189