add_filter('paginate_links', function ($link) {
return str_replace('<a ', '<a rel="nofollow" ', $link);
});
商品列表的颜色和尺码筛选组合出 1.8 万条 URL，抓取日志里 92% 的请求打在这些参数页上，首页和分类页 20 天没更新过一次。这类现象通常不是突然出现的，往前翻半天日志能看到苗头。
追下去是这么回事：筛选链接是普通 a 标签，没有加 nofollow，抓取工具顺着链接一路展开。参数页内容由同一批商品拼出来，重复度高，白白消耗抓取预算。
「筛选参数抓取预算」改完先别急着全量，挑一台机器放半天，真有问题这段时间就能看出来。权限不要一口气开到最大，先加到够用再往上试，范围小才好收。
把复现步骤压到三条以内，交给同事也能跑出来，才算真的定位清楚。改动写完就同步给同事，下一个人踩同一个坑，成本还是你的。
处理上按这个顺序：筛选链接加 rel=nofollow，或改成按钮用 JS 更新；在 robots 里挡掉明确的参数组合；给筛选页加 canonical 指回不带参数的列表页。
确认没问题再收工，抓取日志里参数页请求占比降到 10% 以下，首页重新出现抓取记录。