现场是这样的。测试环境 test.example.com 忘了加 noindex,被合作方挂了一个链接,两个月后被收了六千条,内容全是正式站的拷贝。
中间走过弯路,把「测试库是正式库的拷贝,内容完全重复」当成主因,改完现象没变。
真正麻烦的地方在于,几个原因的现象几乎一样。测试域名可以公网访问,没有访问控制;页面没有 noindex,robots 也是允许全部;外链指向测试域名,蜘蛛顺着进来。
动手时先确认测试域名能否公网访问
curl -sI https://test.example.com/
整站加 noindex 响应头
add_header X-Robots-Tag "noindex" always;
robots 全站禁止
User-agent: *
Disallow: /
等前面都确认过,再用移除工具清理已收录条目
https://search.google.com/search-console/removals
同样的操作我在测试机上先走了一遍,线上只做验证过的部分。
怎么算真的好了,看的是同一批现象。两周后测试域名的收录条目清零,正式站的重复提示同步消失。
测试环境要么关掉公网入口,要么整站 noindex,最怕能访问又和正式站内容一样。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。
