记录一下那天晚上的排查过程。站点做了备案主体变更,二十天后百度抓取频次从 3 档掉到 1 档,日志里每天请求从两万条降到三千条。页面访问正常,服务器负载也正常,抓取诊断能通过。
刚开始盯着「变更期间站点有两天无法访问,蜘蛛记住了这次失败」,折腾了半个多小时,排掉了。
真正麻烦的地方在于,几个原因的现象几乎一样。备案变更后站点信息需要重新核验,期间抓取调度被降级。还有一种是页脚的备案号链接失效,指向了旧的备案查询地址。
另外,站长平台里的站点信息没有同步更新主体名称。
上来先确认页脚的备案信息与当前主体一致
curl -s https://www.example.com/ | grep -o 'ICP备[0-9]*号'
再往下核对站长平台里的站点归属与主体名称
保证变更期间站点稳定,不再出现 5xx
awk '$9>=500{c++} END{print c}' access.log
等前面都确认过,再按周观察抓取频次曲线是否回升
怎么算真的好了,看的是同一批现象。备案信息一致、站点连续两周没有 5xx,抓取频次在一个月后回到 2 档以上。
补一句。备案变更属于低频但影响面大的操作,最好安排在内容更新少的时段,别和改版叠在一起。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。
