事情本身不复杂,线索都在日志里。Bing 站长工具里提示抓取受 robots.txt 限制,可文件里没有 Disallow: /,谷歌那边抓取一切正常,收录也照常增长。

真正麻烦的地方在于,几个原因的现象几乎一样。Bing 对通配符和大小写更敏感,规则被误匹配。还有一种是文件返回了 403 或超时,Bing 按最严格策略处理。

少数情况下是Crawl-delay 写得过长,Bing 认了这行后主动降频。

动手时先用 Bing 的 UA 请求 robots.txt

curl -sI -A 'bingbot' https://www.example.com/robots.txt

然后检查规则里有没有过宽的通配符

grep -n '\*' robots.txt

等前面都确认过,再把 Crawl-delay 调到合理区间

Crawl-delay: 1

我习惯把每一步的执行时间和结果记在一边,后面复盘省事。

怎么算真的好了,看的是同一批现象。Bing 的抓取状态恢复正常,抓取量在两三天内回升,收索引擎报告里的限制提示消失,站点地图也能正常读取。

这里还有个坑。Bing 是少数仍认 Crawl-delay 的引擎,写个十秒以上等于主动让蜘蛛慢下来,收录自然会慢很多。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。

作者 9823189