站点图片全部转成了 webp,加载速度确实快了,但图片搜索的收录量没有增长,不确定蜘蛛能不能读到。

排查方向其实有限,先把可能性排一排。主流引擎已支持 webp,但部分老爬虫不识别;picture 标签的 fallback 写错,源地址无效;图片 CDN 按 UA 返回不同格式,蜘蛛拿到的可能是空响应。

动手时先确认图片地址返回的格式与状态

curl -sI https://www.example.com/img/1.webp | grep -i content-type

接着用 picture 提供 jpg 回退

<source srcset="1.webp" type="image/webp">

等前面都确认过,再检查回退地址是否可访问

curl -sI https://www.example.com/img/1.jpg | head -1

报错是间歇性的,我蹲守了半小时才抓到一次完整现场。

白天有业务在跑,能验证的部分都压到了晚上做。

当时还开着另一个排查窗口,两边日志对照着看才定位到。

改完先别撤,确认这几项。两种格式都能被抓取,图片索引数量开始增长,页面加载速度没有明显下降。

补一句。webp 本身不是问题,问题在于部分 CDN 会按浏览器 UA 做格式转换,蜘蛛拿到的响应和用户看到的并不一样。报错文案容易误导,真正的原因往往在相邻那一层的日志里。

作者 9823189