作者归档 8000 页吃掉三成抓取预算

站点有 120 个作者，每人归档分页铺到 60 多页，合计 8000 条地址。日志里蜘蛛三成请求落在 /author/ 上，正文页只占一成二，新文章两天才被抓一次。

一开始怀疑是「每篇文章底部都挂作者链接，形成大量入口」，查了一圈，方向不对。

原因不止一个，得分开看。作者归档按全量文章分页，没有做 noindex。少数情况下是作者页只有标题列表，被判薄页面但仍在被抓。

还有一种情况，sitemap 里把作者归档也一起提交了。

先统计作者目录的抓取占比

awk '{print $7}' access.log | grep -c '^/author/'

给作者归档加 noindex

add_filter('wp_robots', function($r){ if (is_author()) $r['noindex']=true; return $r; });

sitemap 排除作者归档

add_filter('wp_sitemaps_add_provider', fn($p,$n) => $n==='users' ? false : $p, 10, 2);

限制侧栏作者链接数量

SELECT COUNT(*) FROM wp_users;

这类问题以前遇到过，但这次的触发条件和上次不一样。

别只看报错消失，验证要多做一步。作者目录抓取占比降到 8% 以下，正文页抓取量上升，新文章当天就能被抓。

提醒一点。抓取预算是零和的，薄页面多占一份，正文就少一份，归档类页面该收口就收口。同一份配置在测试环境跑通，不代表线上没事，两边的默认值经常不一样。