站点改版或删栏目后,一批链接仍然留在搜索结果里,点进去是空白页。死链提交工具可以加快移除,但前提是这些地址确实返回了正确的状态码。

第一步:确认状态码

curl -o /dev/null -s -w "%{http_code} %{url_effective}\n" \
  https://你的域名/旧文章地址

必须是 404 或 410。返回 200 却是「页面不存在」的软 404,提交也没用,反而会被判质量问题,要先把状态码改对。

第二步:整理成规则文件

每行一个完整 URL,只放同域名地址,条数不要超过工具提示的上限,超出就分批。文件用 UTF-8 编码保存,提交前自己打开确认没有多余空行和空格。

第三步:批量核对再提交

while read u; do
  echo "$(curl -o /dev/null -s -w '%{http_code}' "$u") $u"
done < dead.txt

输出里混进 200 或 301 的地址要挑出来单独处理:301 是有效跳转,不该按死链提交,否则会把权重传递的路径也丢掉。

提交后保持 404 状态至少几周,页面立刻删掉又恢复,会让抓取判断反复。真正想保留流量的旧地址,应该做 301 到最相关的新页面,而不是一律返回 404。

清理顺序建议从栏目页开始,再处理文章页,最后才是标签和分页。层级越靠上影响面越大,先修入口能减少无效抓取。

作者 9823189