现场是这样的。同一个站在 GSC 里有 1.2 万条有效页面,必应站长工具里却只有 3800 条,两个数字从九月开始越拉越开,必应那边的搜索流量掉了六成。
中间走过弯路,把「robots 里屏蔽了部分带参数的列表页,必应把这部分直接判定为不可索引」当成主因,改完现象没变。
原因不止一个,得分开看。必应对低质量聚合页的收录门槛更高,索引里剔掉了长尾;站点的 sitemap 只在 GSC 提交过,必应那边只靠自然发现;服务器对 Bingbot 的响应时间超过 3 秒,抓取被降频。
先确认 Bingbot 拿到的状态码与耗时
grep -i bingbot /var/log/nginx/access.log | awk '{print $9, $NF}' | sort | uniq -c | head
然后在必应站长工具补交 sitemap 并申请重新抓取
curl -s 'https://www.bing.com/indexnow?url=https://www.example.com/sitemap.xml&key=xxxx'
接着对比两边索引的目录分布找出差异
python idx_diff.py gsc.csv bing.csv --group-by path
剩下的就是对差异最大的目录补内链与结构化数据
curl -s https://www.example.com/category/seo | grep -c 'rel="canonical"'
怎么算真的好了,看的是同一批现象。两周后必应索引从 3800 涨到 8600,差异最大的标签目录补了内链后单独收录了 1200 条,搜索流量回到原来的七成。
这里还有个坑。两个搜索引擎的索引口径本来不同,差三成算正常,差到三倍就要看 sitemap 提交和抓取响应,而不是只盯内容质量。监控比日志更早给出信号,事后回看经常能提前半小时发现异常。
