先看现象。标签模板的每页条数被设成五条，一个两百篇文章的标签翻出四十个分页。全站加起来三千多个标签分页，抓取全耗在翻页上。
真正麻烦的地方在于，几个原因的现象几乎一样。每页条数按移动端阅读习惯设得太小。另一种情况是分页没有上限，所有页码都可索引。
另外，分页之间只有上一页下一页，深层页码全靠爬。
少数情况下是标签页本来就薄，翻到后面几乎没有内容。
算出一个标签的分页总数
curl -s https://www.lu0.cn/tag/nginx/ | grep -c 'page-numbers'每页提到三十条并只保留前五页可索引
后面的页码加 noindex 但保留链接
一周后看标签分页被抓的数量
awk '$7 ~ /\/tag\/.*\/page\//' access.log | wc -l怎么算真的好了，看的是同一批现象。标签分页总量从三千降到四百，抓取重新分配到文章页，深层页码不再占用预算。
分页深度是抓取预算的隐形黑洞，条数设小看着清爽，代价是成倍的页面数。同一份配置在测试环境跑通，不代表线上没事，两边的默认值经常不一样。