站内搜索做了个热门榜,把最近被搜的词自动生成列表页,半年后 site 查询能看到三万条,标题全是关键词拼接,正文只有几条结果。

一开始怀疑是「榜单实时刷新,同地址内容天天变,抓取反复触发」,查了一圈,方向不对。

这类报错背后常见的原因有几处,逐个排除就行。热门榜页面没有 noindex,且被挂在首页侧栏,权重一路传下去。另一种情况是同一批词生成多个排序版本,参数不同内容一样。

另外,站内搜索结果被当成聚合内容输出,与搜索页模板重复。

先按模板路径统计被收录的搜索页

site:www.lu0.cn inurl:hot

给榜单页统一加 noindex 并去掉站内搜索入口链接

add_filter('wp_robots', 'wp_robots_noindex');

再往下在网址移除里提交模板前缀批量清理

https://www.lu0.cn/hot/

剩下的就是把热门词改成一个静态专题页,只保留人工精选

别只看报错消失,验证要多做一步。一个月后 site 查询的热门榜条目降到两位数,抓取预算重新分配到文章页,新文章平均收录时间缩到两天。

容易忽略的是,这类页面本身没有错,错在让它可索引又被内链推权重,要么彻底不收录,要么只保留一个人工维护的版本。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。

作者 9823189