事情本身不复杂,线索都在日志里。同一个站,必应后台显示已编入索引 4.1 万条,百度 site 查询不到 1800 条,表现最好的页面点击常年是个位数,站点 2025 年 9 月上线,日志里百度蜘蛛每天只来 300 次左右。
原因不止一个,得分开看。百度不读 IndexNow,Bing 却能即时收到推送,收录节奏天然差一个量级。另一种情况是站点未在百度搜索资源平台提交 sitemap 与 API 推送,全靠自然发现。
少数情况下是服务器对百度蜘蛛所在网段做了限速,抓取频次被压到最低档。
动手时先确认百度蜘蛛最近一周的实际访问量
awk '/Baiduspider/' access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
再往下在搜索资源平台补交 sitemap 并做 API 推送
curl -H 'Content-Type:text/plain' --data-binary @urls.txt 'http://data.zz.baidu.com/urls?site=https://www.example.com&token=xxxx'
接着检查限速规则是否包含百度网段
iptables -L -n | grep -i 220.181
末了按栏目拆 sitemap 分批提交,观察发现量
curl -s https://www.example.com/sitemap.xml | grep -c '<loc>'
改完先别撤,确认这几项。推送后第三天百度侧显示已发现条目从三位数升到四位数,日志里百度蜘蛛日访问量翻了两倍,site 查询开始出现栏目页。
这里还有个坑。两个引擎的收录基数本来就没有可比性,先盯百度侧发现量是否增长,别拿必应的曲线去要求百度。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。
