必应后台抓取错误一栏挂着 1.4 万条 404,占了全部错误的七成,点进去大多是旧缩略图和外链写错的目录,源站日志里这些地址确实不存在。

把日志和配置对完,能解释这个现象的基本就这几处。历史改版留下的图片路径没有做 301 或 410。还有一种是外链站点把旧目录地址写死,蜘蛛按外链持续回访。

不容易想到的是,主题升级后缩略图尺寸命名变了,旧文件名全部落空。

先按目录聚合 404 数量找出大头

awk '{print $7}' access.log | grep -E '\.(jpg|png|webp)$' | sort | uniq -c | sort -rn | head -20

然后把确实下线的图片统一回 410

location ~* ^/uploads/2023/ { return 410; }

给改版的旧目录补一条整体跳转

rewrite ^/uploads/2023/(.*)$ /uploads/2024/$1 permanent;

剩下的就是在必应后台标记已修复并重新抓取

curl -sI https://www.example.com/uploads/2024/a.webp

我习惯把每一步的执行时间和结果记在一边,后面复盘省事。

改完先别撤,确认这几项。一周后必应后台的 404 条目从 1.4 万降到 2100,抓取错误总数同步降到 3000 以内。

提醒一点。图片 404 不必逐条补文件,整段目录给 410 比 301 到首页更干净,后者容易被判成软 404。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。

作者 9823189