这个坑值得记一笔。GSC 的页面编入索引报告里,已抓取尚未编入索引从 8000 涨到 4.1 万,站点共 6.8 万条 URL,用的是 WordPress 6.6 加分类筛选插件。试过重新提交 sitemap、给列表页加内链、把 lastmod 改成当天,三周过去数字没动,抓取统计里 Googlebot 每天仍来两万多次。

刚开始盯着「canonical 指向自身,没有把组合页归并到无参数主列表」,折腾了半个多小时,排掉了。

把日志和配置对完,能解释这个现象的基本就这几处。筛选参数生成组合页,正文只有商品卡片,和主列表页高度重复;列表页只输出摘要,蜘蛛拿到的正文不足,被判成低价值页面;站点地图把这些参数页一并提交,等于主动扩大待抓取队列。

动手时先抽一批 URL 看参数形态和正文长度

grep -o '/product[^ ]*' access.log | sort | uniq -c | sort -rn | head

给筛选页统一加 noindex 并从 sitemap 移除

add_filter('wp_robots', 'wp_robots_noindex');

接着把组合页 canonical 指回无参数主列表

curl -s https://www.example.com/product/?color=red | grep -i canonical

末了用网址移除清掉已经收录的组合页

site:www.example.com/product/?color=

改完先别撤,确认这几项。两周后已抓取未编入索引降到 1.2 万以下,抓取统计里带参数的请求占比从 63% 降到 8%。

这类数字下降很慢,别每天重提交 sitemap 催,频繁变更只会让蜘蛛重新评估整站的抓取优先级。报错文案容易误导,真正的原因往往在相邻那一层的日志里。

作者 9823189