整站切换协议后,搜索后台显示抓取失败增多,收录缓慢下降。第一次遇到会往复杂处想,其实漏掉的多是个小前提。

curl -I http://example.com
curl -I https://example.com
# 站长平台提交改版

站点同时存在两个协议版本,跳转链过长或证书链问题导致抓取中断。这一点先确认清楚,后面就不用反复试。

「HTTPS 抓取异常」这类改动最怕改一半,回滚脚本先准备好,再动生产。把这次用到的命令存进笔记,比记住结论有用,换个环境还能照着走。

改完隔一天再看一次,当场正常不代表能稳住。测试环境和线上的差别,往往就在版本号和那几行被忽略的配置上。

线上出问题先对时间点,跟发布、备份、任务执行的时刻排一排,能省掉一半功夫。日志级别临时调高可以,记得改回去,长期开着既占磁盘又掩盖真问题。

权限不要一口气开到最大,先加到够用再往上试,范围小才好收。

具体做法是,确认跳转只有一次;验证证书链完整;提交协议变更并观察抓取诊断。

改完照着核一遍,抓取失败数回落,收录逐步恢复。

作者 9823189