记录一下那天晚上的排查过程。开了 Bot Fight 模式之后 Bing 的抓取量三天归零,日志里 Bingbot 全部拿到 403,防火墙事件里显示被判定为自动程序。
把日志和配置对完,能解释这个现象的基本就这几处。Bot Fight 按行为特征判定,Bingbot 高频抓取被误伤。也可能是没有为已验证的搜索机器人配置放行规则。
还有一种情况,源站也没做 IP 校验,无法区分真假蜘蛛。
第一件事是看请求是否被边缘节点拦下
curl -sI https://www.example.com/ | grep -i cf-ray
然后核对 Bingbot 的官方 IP 段
dig +short bingbot.example.com
等前面都确认过,再放行后确认源站返回码
curl -s -o /dev/null -w '%{http_code}\n' https://www.example.com/
我习惯把每一步的执行时间和结果记在一边,后面复盘省事。
改之前我把相关日志按时间截了一段存着,事后对时间线用得上。
别只看报错消失,验证要多做一步。放行后 Bingbot 的 403 消失,Bing 抓取量两天内恢复,收录开始重新增长。
提醒一点。放行要按已验证的 IP 段做,单纯按 UA 放行等于给假蜘蛛开门。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。
