这个坑值得记一笔。侧栏标签云把全站标签都列了出来,四千多条链接挤在每篇文章底部。服务器日志里蜘蛛六成请求打在标签页上,文章更新反而抓得慢。
刚开始盯着「标签页没有 noindex,也没有 canonical 归并」,折腾了半个多小时,排掉了。
把日志和配置对完,能解释这个现象的基本就这几处。标签云按使用次数全量输出,没有分页也没有数量上限;标签页与分类页内容高度重叠,被当成有效页面反复抓取;底部标签区在所有页面重复出现,等于给每个标签造了全站入口。
上来先按访问日志统计标签页请求占比
awk '{print $7}' access.log | grep -c '^/tag/'
接着把标签云限制在前二十个高频标签
wp term list post_tag --orderby=count --order=desc --number=20
低频标签合并或直接 noindex
末了把标签云从正文底部移到归档页
改完先别撤,确认这几项。两周后标签页请求占比从六成降到一成五,文章页的日均抓取量翻倍,新内容的收录延迟明显缩短。
标签少而精是有价值的聚合入口,一旦变成全量罗列,就等于用几千个薄页面把抓取预算摊平。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。
