百度搜索资源平台的抓取频次曲线在 11 月 3 日从日均 1.2 万掉到 900 左右,站点是 WordPress 6.6 加 Nginx 1.24,源站前面挂了一层 CDN。翻 access.log 发现 499 占全部蜘蛛请求的 41%,改过 CDN 回源超时、临时关过 WAF、也重新提交过 sitemap,频次都没有回来。
一开始怀疑是「抓取频次按天滑窗计算,连续几天失败后配额被下调,恢复有滞后」,查了一圈,方向不对。
把日志和配置对完,能解释这个现象的基本就这几处。CDN 回源超时设成 5 秒,源站生成页面要 8 秒,连接被边缘节点提前掐断。另一种情况是499 在日志里被当成客户端主动断开,实际是 CDN 等不及回源。
另外,WAF 对百度 UA 做了速率限制,回源失败时又叠了一层 403。
动手时先按状态码统计蜘蛛请求的分布
awk '$9==499' access.log | wc -l
然后对比源站耗时和 CDN 的回源超时配置
curl -o /dev/null -s -w '%{time_total}\n' https://www.example.com/
接着把回源超时调到 15 秒并放开百度 UA 限速
proxy_read_timeout 15s;
剩下的就是观察三天后的抓取频次与 499 比例
grep -c 'Baiduspider' access.log
恢复的判定其实很直接。三天后 499 占比降到 3% 以下,抓取频次回到 9000 以上并稳定,源站 P95 耗时压到 2 秒内。
CDN 厂商的默认回源超时普遍偏短,动超时之前先确认源站慢在哪一段,否则只是把失败推迟。报错文案容易误导,真正的原因往往在相邻那一层的日志里。
