必应后台抓取错误一栏挂着 1.4 万条 404,占了全部错误的七成,点进去大多是旧缩略图和外链写错的目录,源站日志里这些地址确实不存在。
把日志和配置对完,能解释这个现象的基本就这几处。历史改版留下的图片路径没有做 301 或 410。还有一种是外链站点把旧目录地址写死,蜘蛛按外链持续回访。
不容易想到的是,主题升级后缩略图尺寸命名变了,旧文件名全部落空。
先按目录聚合 404 数量找出大头
awk '{print $7}' access.log | grep -E '\.(jpg|png|webp)$' | sort | uniq -c | sort -rn | head -20
然后把确实下线的图片统一回 410
location ~* ^/uploads/2023/ { return 410; }
给改版的旧目录补一条整体跳转
rewrite ^/uploads/2023/(.*)$ /uploads/2024/$1 permanent;
剩下的就是在必应后台标记已修复并重新抓取
curl -sI https://www.example.com/uploads/2024/a.webp
我习惯把每一步的执行时间和结果记在一边,后面复盘省事。
改完先别撤,确认这几项。一周后必应后台的 404 条目从 1.4 万降到 2100,抓取错误总数同步降到 3000 以内。
提醒一点。图片 404 不必逐条补文件,整段目录给 410 比 301 到首页更干净,后者容易被判成软 404。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。
