先看现象。批量删除了一万篇过期文章并返回 410,半年后日志里这些地址每周仍有抓取,GSC 的 404 报表里它们一直挂着,抓取预算被这些无效地址占掉一成。

真正麻烦的地方在于,几个原因的现象几乎一样。410 只是更明确的删除信号,回收速度仍取决于蜘蛛调度。还有一种是站内还有列表页链接指向这些地址,蜘蛛每次都能重新发现。

少数情况下是内链与 sitemap 里没清理,形成反复发现再抓取的循环。

先找出仍在被抓的已删地址

grep " 410 " access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -20

从内容里清掉指向它们的链接

wp db query "SELECT ID FROM wp_posts WHERE post_content LIKE '%/old-post/%' LIMIT 10;"

剩下的就是确认 sitemap 不再包含这些地址

curl -s https://www.example.com/sitemap.xml | grep -c "old-post"

怎么算真的好了,看的是同一批现象。这些地址在日志里的周抓取量降到个位数,GSC 404 报表条目逐周减少,有效页面的抓取频次相应上升。

提醒一点。删页面容易,清链接难,先断掉发现路径再谈回收速度,否则 410 也只是重复确认。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。

作者 9823189