站内一共 800 篇文章，标签页却生成了两万多条地址，抓取日志里 70% 的请求落在标签和日期归档上，新文章三天没被抓。碰到这种情况，我一般先确认改动有没有真的生效。
原因不复杂，每个标签都生成独立列表页，还带分页，地址数量远超内容量。抓取配额有限，大量低价值页面占住请求，需要更新的文章排在后面。
「标签页抓取预算」这类改动最怕改一半，回滚脚本先准备好，再动生产。报错里带路径的，先去看那个路径在不在、权限对不对。
<meta name="robots" content="noindex, follow"> <!-- 只在标签归档页输出，follow 保留通道 -->
同一份配置存在多处的，先确认改的是被加载的那一份。新版本先放一台机器上跑一天再全量，问题一般在这段时间暴露。
具体做法是，统计标签页数量和实际搜索流量，找出没人访问的；对无流量标签加 noindex, follow，保留爬取通道；关掉标签分页，只留第一页；把标签从站点地图里移除。
最后用这个标准收尾，抓取日志里标签页请求占比降到两成以下，新文章 24 小时内被抓。