资源平台的抓取频次曲线一路往下，收录也跟着变慢。平台只给结论，原因要回到服务器日志里找。
先统计每天来了多少蜘蛛
grep -i "baiduspider" access.log \
| awk '{print $4}' | cut -d: -f1 | sort | uniq -c
按天统计，看下降是从哪一天开始的。把这个时间和改版、换服务器、上 CDN 的时间点对一下，因果往往就在其中。
再看蜘蛛拿到的状态码
grep -i "baiduspider" access.log \
| awk '{print $9}' | sort | uniq -c | sort -rn
5xx 占比高，说明服务器不稳定，蜘蛛会主动降低频次；403 多，说明被规则拦了；301 多，说明链接在频繁跳转；大量 404，说明站内死链多。
抓的都是什么页面
统计访问路径的分布，如果大量集中在标签页、搜索结果页、分页深处，说明抓取预算被低价值页面消耗，正文页自然分不到额度。
改善方向很明确：先把 5xx 和 403 清零，再清理低质页面并用 nofollow 收口，最后提交 sitemap 引导重点页面。改完观察一到两周的频次曲线，不要一天没变化就换方案。
日志文件记得定期轮转，一个几十 G 的 access.log 光是 grep 就要跑很久，按天切割后统计会轻松很多。