问题出现得很突然,日志倒是留得挺全。标签页模板只输出文章标题列表,一页 40 条没有任何摘要,全站三千多个标签页被抓了一遍却没一个进索引,抓取预算全耗在这里。
原因不止一个,得分开看。标签页内容量不足,和分类页高度重复。少数情况下是每个标签都自动生成独立页面,没有数量门槛。
不容易想到的是,标签分页无限展开,越翻越空。
上来先统计 sitemap 里标签页的数量
curl -s https://www.example.com/sitemap.xml | grep -c '/tag/'
再往下确认标签页正文长度
curl -s https://www.example.com/tag/seo/ | wc -c
等前面都确认过,再找出文章数过少的标签
wp term list post_tag --field=count --format=csv | sort -n | head
当时还开着另一个排查窗口,两边日志对照着看才定位到。
别只看报错消失,验证要多做一步。加门槛后一周,索引里的标签页从三千降到四百,日志抓取集中到有内容的标签上。
容易忽略的是,标签页的价值在聚合,条目太少时它就是一张空目录,不如直接 noindex 掉。监控比日志更早给出信号,事后回看经常能提前半小时发现异常。
