记录一下那天晚上的排查过程。为了减少重复内容,给第二页之后的分页统一加了 noindex,半年后列表页的长尾流量掉了六成。

把日志和配置对完,能解释这个现象的基本就这几处。分页承载了大量长尾商品的入口。也可能是noindex 后蜘蛛不再抓取,深层商品失去发现路径。

不容易想到的是,站内没有其他聚合页可以替代。

先统计分页带来的落地流量

grep -c 'page=' access.log

去掉 noindex 改为自指 canonical

add_filter('wp_robots', 'allow_pagination');

剩下的就是确认深层商品重新被抓

grep 'page=' access.log | tail -5

这台环境是别人交接的,不少默认值被动过,只能一项项核。

同事提醒我看一下最近一次发布,时间点确实对得上。

别只看报错消失,验证要多做一步。分页重新进入索引,深层商品的抓取记录增加,长尾流量逐步回升。

重复内容该用 canonical 收敛而不是 noindex,后者直接切断了蜘蛛往下爬的路径,深层页面会被彻底孤立,再也抓不到。如果同一现象隔几天又出现,说明根因没找到,别当偶发处理。

作者 9823189