现场是这样的。为了省带宽在 robots.txt 里加了 Disallow: /img/,一周后 Google Images 的展现从每天两千降到个位数,图片搜索带来的访问几乎清零,正文收录没受影响。

真正麻烦的地方在于,几个原因的现象几乎一样。Disallow 让蜘蛛无法抓取图片文件,已收录的图逐步失效;图片 sitemap 里仍然列着这些地址,和 robots 规则互相冲突;正文引用了图片,但蜘蛛拿不到图只能放弃图片索引。

先确认 robots 里的实际规则

curl -s https://www.example.com/robots.txt | grep -i img

随后放开目录并给大图单独加尺寸限制

curl -sI https://www.example.com/img/cover-1200.jpg | head -5

提交图片 sitemap 触发重新抓取

curl -s https://www.example.com/sitemap-images.xml | head -5

这台环境是别人交接的,不少默认值被动过,只能一项项核。

怎么算真的好了,看的是同一批现象。放开目录十天后图片搜索展现恢复到每天一千五百次左右,日志里 Googlebot-Image 的请求重新出现。

容易忽略的是,图片带宽要靠压缩和 CDN 解决,用 robots 屏蔽整目录会连带丢掉图片搜索入口。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。

作者 9823189