报错是这么冒出来的。站点从测试环境整体打包上线，robots.txt 里还留着 Disallow: / 和测试域名，正式域名解析切换后一周，日志里 Googlebot 的请求数是零。
中间走过弯路，把「CDN 缓存了这份文件，改完源站边缘仍是旧内容」当成主因，改完现象没变。
这类报错背后常见的原因有几处，逐个排除就行。打包时把测试目录的 robots 一起复制到了生产根目录。也可能是上线检查清单里没有核对 robots 这一项。
还有一种情况，旧域名的 robots 正常，导致排查时误以为规则没问题。
第一件事是看正式域名的 robots 内容
curl -s https://www.example.com/robots.txt随后确认返回的是哪一份文件
curl -sI https://www.example.com/robots.txt | findstr /i "etag last-modified"再往下改成生产规则并保留 sitemap 声明
Sitemap: https://www.example.com/sitemap_index.xml等前面都确认过，再清掉边缘缓存后重新抓取
curl -X PURGE https://www.example.com/robots.txt别只看报错消失，验证要多做一步。修正后第二天日志里出现 Googlebot 请求，两周内首页和栏目页重新进索引。
容易忽略的是，迁移打包前先检查 robots、.htaccess 和站点地址三项，测试配置混进生产是最常见的翻车方式。线上能稳定复现的问题都不算难，难的是只在大流量下才出现的那种。