先看现象。为了挡扫描把 40.0.0.0/8 整段拉黑,Bing 的抓取 IP 正好落在里面,三天后 Bing 收录从两万掉到三百,站长后台提示抓取被拒。

排查方向其实有限,先把可能性排一排。封禁规则按大段 IP 拉黑,没有排除搜索引擎段。还有一种是封禁发生在云防火墙层,源站日志里根本看不到这些请求。

少数情况下是没有对抓取量做异常告警,掉了三天才发现。

先确认哪些网段被拉黑

iptables -L -n | grep -E "DROP|REJECT" | head -20

只放行搜索引擎官方段

iptables -I INPUT -s 40.77.167.0/24 -j ACCEPT

从外部验证抓取是否恢复

curl -sI -A "Mozilla/5.0 (compatible; bingbot/2.0)" https://www.example.com/ | head -2

同一份数据我导出了两份,一份留底,一份拿来试。

恢复的判定其实很直接。Bingbot 的请求重新出现在源站日志里且返回 200,收录数两周内回到封禁前的七成以上,站长后台的抓取错误消失。

补一句。封 IP 前先查官方 IP 段清单,按整段拦是最容易误伤的做法,日志里看不到请求更要警惕。同一份配置在测试环境跑通,不代表线上没事,两边的默认值经常不一样。

作者 9823189