记录一下那天晚上的排查过程。百度站长后台的抓取频次一直显示最低档，日志里 Baiduspider 每隔三四秒才来一次，两万多篇文章更新完一个月还是没被爬完。
刚开始盯着「内页响应时间 1.8 秒，超过百度对普通站点的容忍线，配额上不去」，折腾了半个多小时，排掉了。
原因不止一个，得分开看。抓取频次是按站点历史响应稳定性给的，早期 5xx 多会被压在低档。也可能是站点没有在百度平台验证，抓取诊断和建议都没法用。
不容易想到的是，robots 里残留的 Disallow 让部分目录长期零抓取，频次评估被拉低。
先确认百度蜘蛛每天实际抓了多少
grep -c 'Baiduspider' access.log测一下内页的 TTFB 落在什么区间
curl -o /dev/null -s -w '%{time_starttransfer}\n' https://www.example.com/a/等前面都确认过，再在平台提交抓取频次调整申请后再看日志
grep 'Baiduspider' access.log | awk '{print $1}' | sort | uniq -c别只看报错消失，验证要多做一步。调完第三天开始日志里单分钟百度请求能到五六次，抓取频次等级上调一档，新文章平均两天内出现快照。
补一句。频次申请批下来后别急着全站改版，抓取配额刚放开时最怕 5xx，一次抖动就可能把等级打回原样。如果同一现象隔几天又出现，说明根因没找到，别当偶发处理。