robots.txt 返回 403，Google 判定全站禁止抓取

下面按现场排查习惯来写，能直接复制的命令放在代码块里，顺序照做即可。 安全策略把 robots.txt 也纳入了鉴权，未登录访问返回 403，两周后整站索引开始减少，后台没有任何异常告警。

如果同一时间还改过其他配置，建议一次只回退一项，方便确认是哪一步起的作用。

先分清是哪一类原因

1. WAF 规则把以点结尾的路径当成异常扫描请求拦截
2. 蜘蛛请求不带 Cookie，被登录校验挡在门外
3. 服务器返回 403 后 Google 按全站禁抓处理，不再访问任何页面

按顺序处理

1. 分别用带 UA 和不带 UA 请求对比

curl -sI -A 'Googlebot' https://www.example.com/robots.txt

2. 在 WAF 里给 robots.txt 加白名单

location = /robots.txt { allow all; }

3. 确认返回码与内容长度

curl -s -o /dev/null -w '%{http_code} %{size_download}' https://www.example.com/robots.txt

怎么确认已经恢复

请求返回 200 且内容长度大于零，GSC 里 robots.txt 抓取状态变成正常，抓取量在一周内回升。

容易忽略的地方

robots.txt 返回 5xx 时 Google 会按保守策略暂停抓取，返回 403 则直接当成全站禁止，两者后果完全不同。 处理过程中建议每改一项就验证一次，避免多个变量同时变化导致判断失真。