事情本身不复杂,线索都在日志里。抓取统计脚本用正则匹配 Googlebot 结果 Googlebot-Image 和 googlebot/2.1 这些小写版本全被漏掉 报表里谷歌抓取量只有实际的三分之一 一度以为谷歌在降频
第一反应是「日志里 UA 被截断 匹配不上完整串」,验证下来不成立。
原因不止一个,得分开看。正则区分大小写 UA 里大小写混用。还有一种是只匹配 Googlebot 漏了 Google-InspectionTool。
少数情况下是统计脚本用了固定字符串包含判断。
上来先看日志里实际出现的 UA 变体
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head
正则改成不区分大小写
grep -ic 'googlebot' access.log
接着把常见变体列成清单统一匹配
grep -Ei 'googlebot|google-inspectiontool' access.log | wc -l
与 GSC 抓取统计对照校准
python ua_stat.py --ci
改之前先确认了最近有没有人动过配置,避免白查一遍。
改完先别撤,确认这几项。统计量提升到与 GSC 同一量级 各类变体都能归类 报表不再漏算。
UA 是客户端随便写的字符串 大小写和版本号都会变 匹配规则要宽 归类要严。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。
