现场是这样的。Search Console 索引量从四万二掉到三万七,服务器日志里 Googlebot 的请求量、状态码分布和响应时间都没有变化,站点也没有改版或换域名。
中间走过弯路,把「站点新增了大量相似模板页,稀释了整站的索引质量」当成主因,改完现象没变。
原因不止一个,得分开看。被移除的是低质聚合页,蜘蛛仍在抓但抓完判定不收录;canonical 被主题更新覆盖,同一批页面被合并到别的地址;索引报告本身有延迟,数字下滑是两周前一次批量清理的滞后表现。
上来先对比索引报告与日志的时间区间
curl -s "https://www.google.com/ping?sitemap=https://www.example.com/sitemap.xml"
随后抽查掉量最多的目录
awk '{print $7}' access.log | cut -d/ -f2 | sort | uniq -c | sort -rn | head -20
接着检查页面 canonical 是否被改动
curl -s https://www.example.com/tag/seo/ | findstr /i canonical
末了把低质聚合页统一 noindex 后观察
curl -sI https://www.example.com/tag/seo/ | findstr /i x-robots
怎么算真的好了,看的是同一批现象。确认掉量集中在标签聚合页后,主动 noindex 处理,两周内索引量稳定在三万六,正文页收录没有受影响。
索引量下滑不一定是故障,先分清掉的是哪一类页面,再决定要不要救。报错文案容易误导,真正的原因往往在相邻那一层的日志里。
