站点两千篇文章同时提交两家,三个月后百度索引量停在 1.8 万,必应后台显示 6.1 万,两边的抓取日志都在,页面状态码也全是 200,看不出哪里被区别对待。
真正麻烦的地方在于,几个原因的现象几乎一样。必应对新 URL 的发现依赖 IndexNow 和 sitemap,百度更多依赖主动推送与站点信任度。也可能是百度对采集和低质模板的判定更严,列表页与聚合页会整批不索引。
少数情况下是两边的 sitemap 提交入口不同,百度后台只认主域那份索引文件。
动手时先对比两边索引里的栏目分布
site:www.example.com/category/
然后把 sitemap 重新提交到百度站长平台
curl -s https://www.example.com/sitemap_index.xml | head -20
接着用推送接口单独补最近一周的新文
curl -s -H 'Content-Type:text/plain' --data-binary @urls.txt 'http://data.zz.baidu.com/urls?site=https://www.example.com&token=xxx'
末了抽样查看百度未收录页的抓取频次
grep -c 'Baiduspider.*\/p\/' access.log
别只看报错消失,验证要多做一步。两周后百度索引量从 1.8 万涨到 3.4 万,新增部分集中在文章详情页,栏目页的收录量没有变化。
这里还有个坑。两边差三倍不一定是被惩罚,先把差的那部分 URL 按目录拆开看,多数情况是聚合页和列表页在百度那边整批没进。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。
