事情本身不复杂,线索都在日志里。用 Bing 的提交接口每天推五百条,接口返回 200,站长工具里这些地址一直停在已发现,两周都没转成已抓取。
排查方向其实有限,先把可能性排一排。提交接口只做入队,抓取仍受预算约束。另一种情况是站点 robots 或防火墙对 Bingbot 返回异常。
还有一种情况,页面本身是参数地址,被判低质延后处理。
第一件事是确认 Bingbot 能否正常抓取
curl -sI -A 'Mozilla/5.0 (compatible; bingbot/2.0)' https://www.example.com/post/1 | head -3
随后看站点地图的抓取状态
curl -s https://www.example.com/sitemap.xml | head -5
剩下的就是换用 IndexNow 推同一批地址
curl -s -X POST https://api.indexnow.org/indexnow -d @urls.json
命令输出我都留了记录,免得改完记不清原来的值。
改之前先确认了最近有没有人动过配置,避免白查一遍。
这次没动代码,只在配置和运行环境上找原因。
改完先别撤,确认这几项。改走 IndexNow 后,同一批地址在三天内从已发现转为已抓取。
Bing 的两套入口一个是排队一个是即时,长期不动时先换通道再查抓取障碍。这类问题最好一次改到位,反复小改反而容易把原因搅混。
