问题出现得很突然,日志倒是留得挺全。GSC 网址检查显示检测到 noindex 标记,可查看页面源码根本找不到这个标签,抓取渲染结果里却清清楚楚出现了。

真正麻烦的地方在于,几个原因的现象几乎一样。安全插件或主题在响应头里输出了 X-Robots-Tag。还有一种是CDN 对特定 UA 返回了不同内容。

还有一种情况,JS 在渲染后动态插入了 noindex meta。

先看响应头里有没有 robots 指令

curl -sI https://www.example.com/a/ | grep -i x-robots

然后用相同 UA 请求对比返回内容

curl -s -A 'Googlebot' https://www.example.com/a/ | grep -i noindex

等前面都确认过,再检查主题和插件里的 robots 过滤逻辑

grep -rn 'wp_robots' /www/wwwroot/site/wp-content/

这台环境是别人交接的,不少默认值被动过,只能一项项核。

怎么算真的好了,看的是同一批现象。响应头和源码都不再出现 noindex,网址检查状态恢复正常,页面重新进入索引,抓取记录也恢复。

这里还有个坑。X-Robots-Tag 比 meta 标签更隐蔽,只看页面源码永远找不到,排查时一定要连响应头一起看,CDN 层也可能单独加一条。线上能稳定复现的问题都不算难,难的是只在大流量下才出现的那种。

作者 9823189