搜索页支持颜色、尺码、价格三个筛选,运营在导航里放了入口。三个月后日志里带参数的地址有 12 万条,GSC 只收录了 3000 条,抓取预算却掉了四成,正文页的抓取量跟着下滑。
一开始怀疑是「筛选组合与分页参数叠加 地址数量按乘法增长」,查了一圈,方向不对。
排查方向其实有限,先把可能性排一排。每个筛选组合生成独立 URL 没有 canonical 归一。还有一种是筛选页正文只是商品列表 与无参数页高度重复。
还有一种情况,sitemap 生成时把带参数的地址一起提交了。
上来先按参数统计日志里的地址数
grep -o 'GET /search?[^ ]*' access.log | sort -u | wc -l
给筛选页 canonical 指向无参数列表页
add_filter('get_canonical_url', 'filter_page_canonical');
接着在 robots 里屏蔽多参数组合
Disallow: /*?*color=*&*size=*
只保留单参数页并重新生成 sitemap
curl -s https://www.example.com/sitemap.xml | head -3
别只看报错消失,验证要多做一步。两周后带参地址的抓取占比从四成降到 5% 以内,索引里剩下的是单参数页。
筛选页的收录价值低于抓取成本,先算预算再决定留哪一层组合。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。
