搜索结果显示的标题和描述与站点内容完全无关,点击进入却跳到正常页面。碰到这种情况,我一般先确认改动有没有真的生效。
原因不复杂,页面被注入针对爬虫的条件输出,正常用户与抓取端看到不同内容。
「快照异常自检」这类改动最怕改一半,回滚脚本先准备好,再动生产。报错里带路径的,先去看那个路径在不在、权限对不对。
curl -A 'Baiduspider' https://www.example.com/ | head -40 curl https://www.example.com/ | head -40
同一份配置存在多处的,先确认改的是被加载的那一份。新版本先放一台机器上跑一天再全量,问题一般在这段时间暴露。
备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。
偶发问题先统计频率,一小时几次和一天一次,查法完全不同。
具体做法是,对比不同来源的访问结果;检查模板中的来源判断逻辑;清理后提交快照更新。
最后用这个标准收尾,两类请求返回内容一致,异常标题逐步消失。