先看现象。标签页底部加了「相关标签」两两组合链接,/tag/php+mysql 这种地址能正常打开,收录报告里这类组合页有十二万条,正文只是两个标签的文章并集。

原因不止一个,得分开看。组合页由标签笛卡尔积生成,数量随标签数平方增长。另一种情况是组合页没有 canonical,也没有指向单标签页。

另外,组合页被写进 sitemap,等于主动提交重复内容。

少数情况下是组合页之间互相内链,蜘蛛在组合里越抓越深。

先统计组合页地址数量和抓取占比

grep -c '/tag/.*+' access.log

只保留搜索量靠前的组合,其余 noindex

curl -sI 'https://www.example.com/tag/php+mysql' | grep -i x-robots

组合页 canonical 指向第一个单标签页

curl -s 'https://www.example.com/tag/php+mysql' | grep -o '<link rel="canonical"[^>]*>'

剩下的就是把组合页从 sitemap 里剔除

grep -c '/tag/.*+' sitemap_tags.xml

改完先别撤,确认这几项。组合页全部返回 noindex 且 canonical 指向单标签页,sitemap 里组合地址清零,抓取预算回到文章页。

组合页看着像聚合,实际是参数排列,数量一旦上十万就只能收口,不可能靠内容质量救回来。同一份配置在测试环境跑通,不代表线上没事,两边的默认值经常不一样。

作者 9823189