UA 写着 Googlebot 但 rDNS 反查是家宽 每天抓 8 万次

报错是这么冒出来的。2026 年 10 月中旬日志里 Googlebot 的请求量从每天 6 千涨到 8 万，几乎全在抓 /wp-login.php 和带参数的搜索页。抽十个 IP 做反向解析，全是 1.2.3.4.dynamic.isp.example.net 这类家宽地址，跟官方网段对不上。之前在 robots 里只挡了路径，量一点没降。

中间走过弯路，把「robots 只挡路径不挡来源，伪装者根本不读这份文件」当成主因，改完现象没变。

这类报错背后常见的原因有几处，逐个排除就行。UA 可以随便伪造，光看字符串分不出真假蜘蛛。也可能是只做 rDNS 不做正向回查，家宽域名也能蒙过去。

少数情况下是登录页和搜索页没有额外防护，成了被探测的入口。

上来先按 UA 聚合请求量再抽查 IP 归属

awk '$0 ~ /Googlebot/{print $1}' access.log | sort | uniq -c | sort -rn | head -20

然后对可疑 IP 做正反向解析校验

for ip in 198.51.100.7 203.0.113.9; do echo $ip; dig +short -x $ip; done

只放行官方网段其余按访客限速

geo $real_googlebot { default 0; 66.249.64.0/19 1; 2001:4860::/32 1; }

等前面都确认过，再把登录页从抓取路径里摘出去

location = /wp-login.php { allow 66.249.64.0/19; deny all; }

恢复的判定其实很直接。日志里 Googlebot 的请求量回落到每天 7 千左右且 IP 全落在官方网段，登录页的 404 探测消失，真蜘蛛抓取成功率不降。

这里还有个坑。验证真假蜘蛛只用两步，rDNS 解析到 googlebot.com 或 google.com，再正向解析回同一 IP，两个条件缺一不可。这类问题最好一次改到位，反复小改反而容易把原因搅混。