筛选组合生成上万个 URL，canonical 还是 noindex

商城筛选器可以叠加五个维度，组合出上万个地址，两种处理方式都试过，收录和流量都没有改善。

把日志和配置对完，能解释这个现象的基本就这几处。canonical 收敛到主列表，但蜘蛛仍会抓取全部组合；noindex 需要被抓取后才能生效，反而消耗预算；站内链接把全部组合暴露给了蜘蛛。

先统计筛选组合的抓取占比

grep -c 'filter=' access.log

随后对无搜索量的组合加 robots 规则

Disallow: /*?filter=

保留高频组合并给它独立标题

SELECT filter FROM log GROUP BY filter ORDER BY COUNT(*) DESC LIMIT 20;

手上没有现成的复现脚本，就照着线上请求手工拼了一个。

报错是间歇性的，我蹲守了半小时才抓到一次完整现场。

改完先别撤，确认这几项。抓取预算集中到主列表和高频组合，收录结构变清晰，长尾流量没有明显损失。

补一句。canonical 和 noindex 都要求蜘蛛先抓一遍，真正省预算的是 robots，但要先确认这些组合没有搜索需求。改动前把原配置备份一份，出问题能马上回滚，这比任何技巧都实用。