嫌标签页重复内容多,直接在 robots 里屏蔽 /tag/,一个月后这部分长尾流量几乎消失,站内搜索的入口也跟着变少。

这类报错背后常见的原因有几处,逐个排除就行。标签页虽然重复,但确实承接了大量长尾词。也可能是屏蔽抓取后已经收录的页面被逐步移除。

还有一种情况,站内其他页面依赖标签页做聚合内链,内链结构被削弱。

动手时先看标签页带来的实际流量占比

grep -c '/tag/' access.log

再往下改成保留抓取但加 noindex 的折中方案

add_filter('wp_robots', 'tag_noindex');

移除 robots 规则并观察恢复情况

grep -v '/tag/' robots.txt > robots.new

这类问题以前遇到过,但这次的触发条件和上次不一样。

改完先别撤,确认这几项。标签页重新被抓取,长尾词曝光在两周内回升到原来水平,内链结构也恢复正常。

容易忽略的是,屏蔽目录是一刀切,先看数据再决定,很多看起来没用的页面其实是内链枢纽,删掉会牵连其他页面。这类问题最好一次改到位,反复小改反而容易把原因搅混。

作者 9823189