robots.txt 里写了 Disallow: https://example.com/wp-admin/,Search Console 提示该行无效,后台登录页照样被抓,日志里每天两百条 wp-login 请求。乍看像缓存或者权限的锅,追下去往往不是。
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
追下去是这么回事:robots 的 Disallow 只接受以 / 开头的路径,带协议和域名的整条会被忽略。解析器遇到无效行直接跳过,不会做容错。
「robots 绝对路径无效」这个问题文档写得含糊,实际行为以当前版本为准,别照旧版本的结论套。接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。
偶发问题先统计频率,一小时几次和一天一次,查法完全不同。改完顺手把文档补一句,省得下次自己重新推一遍。
监控和日志的时间要对上,时区不一致会多绕很大一圈。临时改动用注释写上日期和原因,过两周自己都记不清为什么这么写。
具体做法是,把绝对地址改成 /wp-admin/;同一文件里检查还有没有别的完整 URL;用 robots 测试工具逐行验证,确认规则被识别。
验收就看一点,robots 测试显示 wp-admin 被屏蔽,日志里登录页请求降到个位数。
