归档日历页每个月生成十几个地址,组合起来上千条,日志里蜘蛛有大半时间在这些页面上打转,新文章反而没人抓。

把日志和配置对完,能解释这个现象的基本就这几处。日历和日期归档没有做收敛,每天生成新地址。也可能是这些页面内容近似,蜘蛛反复抓取确认。

另外,站内没有更值得抓的新内容信号。

动手时先统计日历类路径的抓取占比

grep -c '/date/' access.log

给日期归档加 noindex 并保留抓取

add_filter('wp_robots', 'date_archive_noindex');

等前面都确认过,再在 robots 里收敛极端参数组合

Disallow: /*?calendar=

排查用的命令都是临时敲的,没有写成脚本,事后才整理。

恢复的判定其实很直接。日历类请求占比从四成降到一成以内,文章页的抓取次数同步上升,新文章当天就能被抓到。

补一句。先算占比再动手,凭感觉屏蔽目录容易连带挡掉有价值的归档页,反而丢掉长尾流量。线上能稳定复现的问题都不算难,难的是只在大流量下才出现的那种。

作者 9823189