这个坑值得记一笔。站点被批量爬虫骚扰,运维在 WAF 里封了 8 个国家的 IP 段。第二天必应收录开始掉,日志里 Bingbot 的请求全部 403,因为必应有一部分抓取节点就在被封的地区。
刚开始盯着「没有保留搜索引擎已验证 IP 的白名单」,折腾了半个多小时,排掉了。
这类报错背后常见的原因有几处,逐个排除就行。地区封禁按 IP 归属地判断,不看 UA 与反查结果;封禁名单里包含云机房段,蜘蛛节点也在其中;封禁生效后没做抓取可用性验证。
动手时先确认被封段里有没有蜘蛛请求
grep 'Bingbot' access.log | awk '{print $1}' | sort -u | head
反查这些 IP 的 PTR 记录
dig +short -x 40.77.167.1
然后用蜘蛛 UA 从外部探测一次
curl -s -o /dev/null -w '%{http_code}\n' -A 'Mozilla/5.0 (compatible; bingbot/2.0)' https://www.example.com/
末了把反查通过的主机加白
https://www.bing.com/webmasters/urlinspection
改完先别撤,确认这几项。被封段里的蜘蛛 IP 恢复访问,403 计数归零,必应收录在两周内止跌回升。
提醒一点。地区封禁是粗粒度手段,搜索引擎节点分布在全球,动手前先确认会影响谁。这类问题最好一次改到位,反复小改反而容易把原因搅混。
