站点是评测类，WordPress 6.6 加 Nginx 1.24，robots.txt 里新加了一段 User-agent: Google-Extended 与 Disallow: /，两周后 Gemini 回答里仍引用站内对比文章。试过只写 User-agent: * 分组，Search Console 抓取统计里 Googlebot 的量一点没降。
排查方向其实有限，先把可能性排一排。Google-Extended 只约束生成式 AI 的训练与 grounding，不影响 Search 的抓取和排名；规则必须单独成组，混在 User-agent: * 下面会被后一个分组覆盖；已经被抓走的语料无法回收，这个 token 只能约束之后的请求；CDN 缓存了旧 robots，或文件返回 text/html，解析端会整份放弃。
动手时先看线上分组位置和缩进
curl -s https://www.example.com/robots.txt | grep -A2 -i google-extended再往下确认返回的类型不是网页
curl -sI https://www.example.com/robots.txt | grep -i content-type然后统计这个 UA 的真实请求量
grep -c "Google-Extended" /var/log/nginx/access.log剩下的就是改完清掉边缘节点缓存再复核
curl -X PURGE https://www.example.com/robots.txt改完先别撤，确认这几项。两周后日志里 Google-Extended 的请求从每天四百次降到个位数，Googlebot 的抓取量没有变化，新发布的页面也不再出现在 Gemini 的引用里。
这个 token 与 Googlebot 完全独立，屏蔽它不会影响搜索收录，也不会让已收录页面掉排名，两者要分开看。这类问题最好一次改到位，反复小改反而容易把原因搅混。