这类问题我又碰上了一次。360 搜索的蜘蛛每天都在抓,日志里一天三千多条,可站长平台里收录数一直是零,同一个页面对百度早就收录了。
第一反应是「页面被 360 判成与已有内容高度重复,抓了但不建索引」,验证下来不成立。
真正麻烦的地方在于,几个原因的现象几乎一样。站点在 360 平台没有验证,抓取记录和收录报表对不上;360 的权重更依赖首页外链,新域名几乎没有可信来源;抓取的是带参数的列表页,正文页反而没被请求。
上来先统计 360Spider 抓的路径分布
grep '360Spider' access.log | awk -F'"' '{split($2,a," "); print a[2]}' | sort | uniq -c | sort -rn | head
随后确认抓到的页面返回的是完整正文
curl -s -A 'Mozilla/5.0 (compatible; 360Spider)' https://www.example.com/a/ | wc -c
接着在平台验证站点并提交 sitemap
curl -sI https://www.example.com/sitemap_index.xml | head -1
剩下的就是按目录收敛参数页的抓取
Disallow: /*?from=
改完先别撤,确认这几项。平台里验证状态变成已通过,两周后收录数从零涨到三位数,日志里正文页的抓取占比明显提高。
这里还有个坑。抓取量不等于收录量,360 的收录更看重站点的外部信号,光靠 sitemap 和平台提交很难拉动。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。
