robots.txt 被安全软件改成 404，蜘蛛直接放弃

装了一款安全插件后 robots.txt 开始返回 404，接着收录量缓慢下降，页面本身完全正常，后台也看不到任何异常。

原因不止一个，得分开看。安全插件把常见的扫描路径统一返回 404 处理；404 被理解为没有规则，但反复失败会降低抓取信任；部分引擎对 404 的处理是暂缓抓取而不是直接放行。

动手时先确认返回码和响应体长度

curl -s -o /dev/null -w '%{http_code} %{size_download}' https://www.example.com/robots.txt

再往下在插件里把 robots.txt 加入白名单

location = /robots.txt { try_files $uri =200; }

剩下的就是放一个最小可用的 robots 文件

User-agent: *

同一份数据我导出了两份，一份留底，一份拿来试。

这类问题以前遇到过，但这次的触发条件和上次不一样。

恢复的判定其实很直接。返回 200 且有正常内容，抓取统计在一周内恢复，抓取频次曲线回到事故前。

容易忽略的是，返回 404 在规范上等同于允许全部抓取，但很多站点因此失去 sitemap 声明和内链提示，实际表现反而更差。这类问题最好一次改到位，反复小改反而容易把原因搅混。