事情本身不复杂,线索都在日志里。抓取统计脚本用正则匹配 Googlebot 结果 Googlebot-Image 和 googlebot/2.1 这些小写版本全被漏掉 报表里谷歌抓取量只有实际的三分之一 一度以为谷歌在降频

第一反应是「日志里 UA 被截断 匹配不上完整串」,验证下来不成立。

原因不止一个,得分开看。正则区分大小写 UA 里大小写混用。还有一种是只匹配 Googlebot 漏了 Google-InspectionTool。

少数情况下是统计脚本用了固定字符串包含判断。

上来先看日志里实际出现的 UA 变体

awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head

正则改成不区分大小写

grep -ic 'googlebot' access.log

接着把常见变体列成清单统一匹配

grep -Ei 'googlebot|google-inspectiontool' access.log | wc -l

与 GSC 抓取统计对照校准

python ua_stat.py --ci

改之前先确认了最近有没有人动过配置,避免白查一遍。

改完先别撤,确认这几项。统计量提升到与 GSC 同一量级 各类变体都能归类 报表不再漏算。

UA 是客户端随便写的字符串 大小写和版本号都会变 匹配规则要宽 归类要严。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。

作者 9823189