GSC 抓取统计显示抓取量不低，新文章却迟迟不被抓，怀疑大量预算被无效地址吃掉了，但一直没有量化过。
排查方向其实有限，先把可能性排一排。历史改版留下了大批未做跳转的旧地址。另一种情况是外链指向了已删除的页面。
还有一种情况，模板里存在拼错的固定链接。
动手时先按状态码统计抓取占比
awk '{print $9}' access.log | sort | uniq -c | sort -rn | head随后把高频 404 路径做 301 或 410
rewrite ^/old/(.*)$ /new/$1 permanent;剩下的就是找出产生死链的模板位置
grep -rn 'href="/old/' /www/wwwroot/site/wp-content/themes/当时还开着另一个排查窗口，两边日志对照着看才定位到。
同一份数据我导出了两份，一份留底，一份拿来试。
改完先别撤，确认这几项。404 的抓取占比降到一成以下，新文章的首次抓取时间明显缩短，日志里的无效请求大幅减少。
410 比 404 更快让蜘蛛放弃地址，确定永久不再提供的页面用 410 更省预算，删掉的页面也不要留着跳首页。报错文案容易误导，真正的原因往往在相邻那一层的日志里。