这类问题我又碰上了一次。sitemap 提交成功,状态一直停在等待抓取,十天过去没有变化,同一份文件在必应那边当天就处理完了。

排查方向其实有限,先把可能性排一排。百度对新站有观察期,抓取调度优先级天生较低;sitemap 里的地址在百度那边没有历史记录和信任度;站点主动推送额度没用起来,全靠 sitemap 被动等待。

先用普通抓取提交几个重点 URL

curl -s https://www.example.com/

再往下开启主动推送接口并批量提交

curl -H 'Content-Type:text/plain' --data-binary @urls.txt 'http://data.zz.baidu.com/urls?site=https://www.example.com&token=xxx'

等前面都确认过,再检查 sitemap 是否可被正常访问

curl -sI https://www.example.com/sitemap.xml

这类问题以前遇到过,但这次的触发条件和上次不一样。

改完先别撤,确认这几项。等待抓取的条目开始减少,几天后状态变为已抓取,站内新文章的收录周期明显缩短。

补一句。主动推送每天有额度限制,超出的部分会直接失败,先确认当日配额和返回信息再批量推。监控比日志更早给出信号,事后回看经常能提前半小时发现异常。

作者 9823189