站点接入 Cloudflare 后开了 Bot Fight Mode 结果 Bingbot 也被挑战 必应抓取统计里七成请求拿到 403 页面标题是 Just a moment 收录两周掉了 4000 条
一开始怀疑是「源站校验 CF-Connecting-IP 但挑战页在边缘就返回」，查了一圈，方向不对。
这类报错背后常见的原因有几处，逐个排除就行。Bot Fight Mode 对已验证爬虫同样生效。也可能是没有为 Bingbot 配置 WAF 跳过规则。
不容易想到的是，robots.txt 也被挑战 蜘蛛连规则都读不到。
动手时先用 Bingbot UA 复现一次
curl -s -A 'Mozilla/5.0 (compatible; bingbot/2.0)' -o /dev/null -w '%{http_code}\n' https://www.example.com/再往下在 WAF 里给验证过的爬虫加跳过
cf.waf.skip --ua bingbot --verified然后确认 robots 与 sitemap 不被挑战
curl -s -A 'bingbot' https://www.example.com/robots.txt | head -3等前面都确认过，再观察抓取统计里的 403 是否回落
https://www.bing.com/webmasters命令输出我都留了记录，免得改完记不清原来的值。
改之前先确认了最近有没有人动过配置，避免白查一遍。
别只看报错消失，验证要多做一步。Bingbot 请求返回 200 抓取统计里 403 占比降到 1% 以下 索引量两周内补回。
机器人防护默认挡的是所有自动化请求 搜索引擎不会替你去申诉 只能自己放行。这类问题最好一次改到位，反复小改反而容易把原因搅混。