下架了几百个商品页，一开始统一返回 404，两个月过去搜索里还能看到这些页面。
把日志和配置对完，能解释这个现象的基本就这几处。404 表示暂时找不到，蜘蛛会反复确认；410 明确表示永久删除，处理更快；页面下架后仍有内链指向，增加了重抓频率。
先确认当前返回的状态码
curl -sI https://www.example.com/p/1 | head -1永久下架的页面改成 410
return 410;末了清理站内指向这些页面的链接
grep -rn '/p/1' /www/wwwroot/site/wp-content/手上没有现成的复现脚本，就照着线上请求手工拼了一个。
报错是间歇性的，我蹲守了半小时才抓到一次完整现场。
别只看报错消失，验证要多做一步。收录数量在两周内明显下降，抓取预算不再被无效地址占用。
410 只是加速信号，真正决定删除速度的还是页面价值和抓取频率，配合同步清理内链效果更明显。批量返回 410 之前，要确认这些地址确实不会再上线。线上能稳定复现的问题都不算难，难的是只在大流量下才出现的那种。