这个坑值得记一笔。日志按目录统计，/tag/ 下的请求占了 55%，正文页只有 12%，标签页有六万多个组合，每个只有两三篇文章，蜘蛛大部分时间都在这些页面上打转。
刚开始盯着「sitemap 把标签页也一起提交了」，折腾了半个多小时，排掉了。
原因不止一个，得分开看。标签自动组合生成，没有数量上限；标签页全部可索引，且互相之间有大量链接；正文页的内链入口少，蜘蛛只能靠标签页跳转。
上来先按目录统计抓取占比
awk '{print $7}' access.log | cut -d/ -f2 | sort | uniq -c | sort -rn | head再往下统计可索引标签页数量
curl -s https://www.example.com/sitemap.xml | findstr /c:"/tag/" | measure -Line只保留有搜索量的标签并 noindex 其余
curl -sI https://www.example.com/tag/seo-tools/ | findstr /i x-robots末了把正文内链补进栏目页
curl -s https://www.example.com/category/seo/ | findstr /c:"/post/" | measure -Line改完先别撤，确认这几项。标签页收口到两百个后，正文页抓取占比升到四成，新文收录速度明显加快。
标签页是抓取预算的隐形黑洞，数量一旦失控，正文页再优质也分不到几次抓取。同一份配置在测试环境跑通，不代表线上没事，两边的默认值经常不一样。