事情本身不复杂，线索都在日志里。站点从两万页扩到八万页，蜘蛛每天的抓取量一直卡在 500 条左右，新栏目上线两个月，一半文章还停在已发现状态。
第一反应是「sitemap 更新频率与真实发布节奏不匹配」，验证下来不成立。
原因不止一个，得分开看。服务器响应时间随数据量上升，蜘蛛主动降速。另一种情况是站内出现大量低质聚合页，分散了可用额度。
还有一种情况，栏目层级加深，蜘蛛需要多跳才能到达新内容。
第一件事是统计每日蜘蛛请求量
grep -c 'Googlebot' access.log随后看响应时间的分位数
awk '{print $NF}' access.log | sort -n | awk '{a[NR]=$1} END{print a[int(NR*0.95)]}'接着把列表页查询加缓存降低 TTFB
wp cache add posts_list_cache $data 3600 posts收口低质聚合页减少无效抓取
add_filter('wp_robots', 'noindex_thin_archives');改完先别撤，确认这几项。日均抓取量逐步升到两千条以上，新栏目文章在两周内全部进入索引，覆盖率里的已发现条目大幅减少。
容易忽略的是，抓取预算不是申请来的，它跟着站点健康度和内容价值走，先降响应时间再谈扩容。如果同一现象隔几天又出现，说明根因没找到，别当偶发处理。