这个坑值得记一笔。百度收录从八千掉到四千,站长平台的抓取频次曲线却往上走,抓取诊断里页面返回 200。

排查方向其实有限,先把可能性排一排。抓到的其实是被删页面,返回 200 的空模板;站点近期大量改模板,页面特征整个变了;部分页面被判采集,整批一起降权。

动手时先看抓取诊断的具体地址

curl -s https://www.example.com/post/ | wc -c

再往下核对是否返回空模板

curl -s https://www.example.com/post/ | grep -c 'article'

主动推送新地址

curl -s 'http://data.zz.baidu.com/urls?site=https://www.example.com&token=TOKEN' -d 'https://www.example.com/post/'

提交 sitemap 后观察

curl -s https://www.example.com/sitemap.xml | grep -c '<loc>'

命令输出我都留了记录,免得改完记不清原来的值。

改之前先确认了最近有没有人动过配置,避免白查一遍。

这次没动代码,只在配置和运行环境上找原因。

改完先别撤,确认这几项。抓取诊断返回内容完整,推送接口返回 success,收录量两周内止跌回升。

掉收录常伴随内容质量判定,光推送不解决根因,先确认页面有独有内容。同一份配置在测试环境跑通,不代表线上没事,两边的默认值经常不一样。

作者 9823189