Bing Webmaster 的抓取统计从 10 月 28 日之后一直是同一组数字,站点每天发三篇,IndexNow 返回也是 200,Bingbot 在日志里照常出现。

真正麻烦的地方在于,几个原因的现象几乎一样。统计报表本身有 24 到 48 小时延迟,周末还会再拖一天;站点在 Bing 里挂了两个资源,看的是没绑验证文件的那个;IndexNow 提交的 key 文件被 CDN 缓存成旧内容,返回 200 但没生效;Bingbot 的抓取走了移动版子域,统计数据记在另一个资源下。

先确认两处资源是否都验证通过

curl -s https://www.example.com/BingSiteAuth.xml | head -3

接着核对 IndexNow 接口返回体而不是只看状态码

curl -s -X POST https://api.indexnow.org/indexnow -H 'Content-Type: application/json' -d @urls.json

剩下的就是按 UA 统计 Bingbot 最近三天的抓取量

grep -c 'bingbot' access.log

改完先别撤,确认这几项。换到正确资源后,抓取统计在 48 小时内补齐了缺失的日期,Bingbot 的日均抓取条数与源站日志相差不到 5%。

这里还有个坑。统计停更和真实停抓要分开看,先拿源站日志确认蜘蛛还在来,否则容易把报表延迟当成抓取故障去改配置。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。

作者 9823189