xxd -l 8 robots.txt # 文件头不该出现 efbb bf printf "User-agent: *\nDisallow: /admin/\n" > robots.txt
robots.txt 第一行是 Disallow: /admin/，抓取测试却显示允许访问，把文件下载下来看，开头多了三个看不见的字节。先别急着动参数，把报错原文和时间点记下来，顺序反了容易白折腾。
原因不复杂，文件用记事本另存成带 BOM 的 UTF-8，BOM 会粘在第一个指令前面，解析器认不出这条规则，整行被跳过。后面的规则正常，所以很容易漏掉。
「robots BOM」改完先别急着全量，挑一台机器放半天，真有问题这段时间就能看出来。改动写完就同步给同事，下一个人踩同一个坑，成本还是你的。
验证用真实数据走一遍，测试数据太干净，边界情况根本碰不到。能分两步做的操作就别合成一步，中间看一眼返回值，出问题好判断。
报错里带路径的，先去看那个路径在不在、权限对不对。
处理上按这个顺序：用十六进制看一眼文件头是不是 EF BB BF；改存无 BOM 的 UTF-8；确认第一行就是 User-agent，不要留空行；重新抓取 robots 并跑一次测试。
改完只确认一件事：抓取测试里 /admin/ 显示被屏蔽，文件头不再出现 BOM。