先看现象。标签聚合页按时间倒序分页，每页 50 条，一个热门标签能翻出 800 多页，第 20 页之后内容与前面高度重合，蜘蛛却一直往后抓。
排查方向其实有限，先把可能性排一排。聚合分页没有设置上限，翻到底也只是重复的摘要。也可能是分页 URL 没有 rel=canonical 收敛到第一页。
还有一种情况，每页标题只换了页码，正文结构完全一致。
给聚合分页加硬上限
if ($page > 10) { wp_die('', 404); }随后让后续分页 canonical 指向第一页
echo '<link rel="canonical" href="' . get_tag_link($tag) . '">';再往下在 robots 里限制深分页参数
Disallow: /tag/*/page/剩下的就是核对深分页的返回码
curl -s -o /dev/null -w '%{http_code}\n' https://www.example.com/tag/seo/page/50/这台环境是别人交接的，不少默认值被动过，只能一项项核。
改完先别撤，确认这几项。深分页请求在一周内降到每日几十次，标签目录的抓取预算回到正文页，收录量没有下降。
这里还有个坑。分页上限别设得太狠，一般保留前 5 到 10 页就够，再多也翻不出新内容。线上能稳定复现的问题都不算难，难的是只在大流量下才出现的那种。