报错是这么冒出来的。发布后跑预热脚本,把列表里的地址全推到节点。这次把测试页和草稿预览也推了上去,蜘蛛抓到缓存里的 noindex 页,正式页反而迟迟不进索引。

中间走过弯路,把「预热时源站返回的就是 noindex 版本」当成主因,改完现象没变。

把日志和配置对完,能解释这个现象的基本就这几处。预热列表直接取 sitemap,没有过滤 noindex。少数情况下是预览链接被写进了 sitemap。

还有一种情况,缓存键没有区分登录态和预览态。

动手时先看节点上返回的标签

curl -sI https://www.example.com/preview/1 | grep -i x-robots

接着检查预热列表里的异常地址

grep -c 'preview' warmup.txt

预

热

末了清

理

怎么算真的好了,看的是同一批现象。过滤并清缓存后,节点上不再有带 noindex 的页面,正式文章在两天内进索引,收录恢复正常。

这里还有个坑。预热只是把源站内容搬上节点,源站给的是 noindex,节点就替你把 noindex 发给蜘蛛。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。

作者 9823189