这个坑值得记一笔。站点被批量爬虫骚扰,运维在 WAF 里封了 8 个国家的 IP 段。第二天必应收录开始掉,日志里 Bingbot 的请求全部 403,因为必应有一部分抓取节点就在被封的地区。

刚开始盯着「没有保留搜索引擎已验证 IP 的白名单」,折腾了半个多小时,排掉了。

这类报错背后常见的原因有几处,逐个排除就行。地区封禁按 IP 归属地判断,不看 UA 与反查结果;封禁名单里包含云机房段,蜘蛛节点也在其中;封禁生效后没做抓取可用性验证。

动手时先确认被封段里有没有蜘蛛请求

grep 'Bingbot' access.log | awk '{print $1}' | sort -u | head

反查这些 IP 的 PTR 记录

dig +short -x 40.77.167.1

然后用蜘蛛 UA 从外部探测一次

curl -s -o /dev/null -w '%{http_code}\n' -A 'Mozilla/5.0 (compatible; bingbot/2.0)' https://www.example.com/

末了把反查通过的主机加白

https://www.bing.com/webmasters/urlinspection

改完先别撤,确认这几项。被封段里的蜘蛛 IP 恢复访问,403 计数归零,必应收录在两周内止跌回升。

提醒一点。地区封禁是粗粒度手段,搜索引擎节点分布在全球,动手前先确认会影响谁。这类问题最好一次改到位,反复小改反而容易把原因搅混。

作者 9823189