这类问题我又碰上了一次。百度 site 查询显示约 1.2 万条结果,搜索资源平台的索引量曲线却只有 3000 上下,两边差出四倍,运营按 site 数汇报,老板质疑数据造假。

排查方向其实有限,先把可能性排一排。site 查询是估算值,会把转载、快照和参数页一起算进去;索引量统计只算主域下的规范页面,参数变体不计入;站点有大量列表页被收录,site 查询把它们当独立结果展示。

第一件事是逐页核对 site 结果里到底是哪些类型

curl -s 'https://www.baidu.com/s?wd=site%3Awww.example.com' -A 'Mozilla/5.0' | grep -o 'www.example.com[^"<]*' | head -20

接着统计列表页与参数页在站内的占比

grep -c '?page=' access.log

给列表页和参数页统一加 canonical

curl -s https://www.example.com/list/ | grep -i canonical

报错是间歇性的,我蹲守了半小时才抓到一次完整现场。

怎么算真的好了,看的是同一批现象。把列表和参数页规范到栏目首页之后,site 查询回落到 4000 上下,与后台索引量的差距缩到一倍以内。

提醒一点。对外汇报统一用后台索引量,site 查询只适合看趋势,不适合当绝对值。这类问题最好一次改到位,反复小改反而容易把原因搅混。

作者 9823189