这个坑值得记一笔。站点自动生成了 4 万个 tag 页,每页只列出标题和时间,没有任何摘要,必应收了 2 万条,百度只收 900 条,两边的收录数量差出二十倍。
这类报错背后常见的原因有几处,逐个排除就行。必应对薄页面的容忍度更高,只要结构完整就先进索引;百度侧把这类纯列表页判成低质聚合,直接跳过;tag 页之间互相链接,形成大面积的同构页面。
第一件事是统计 tag 页有多少只有标题
curl -s https://www.example.com/tag/seo/ | grep -c '<h2'
给 tag 页补摘要和首段描述
grep -rn 'get_the_excerpt' wp-content/themes/yourtheme/tag.php
只保留有 5 篇以上的标签,其余 301 到栏目
wp term list post_tag --field=count --format=csv | awk -F, '$2>5'
那几天正好在做别的变更,先把时间线对齐才敢动手。
别只看报错消失,验证要多做一步。清理后 tag 页从四万缩到六千,百度收录回升到五千多条,必应那边没有掉量,抓取日志里 tag 请求占比从 42% 降到 12%。
两个引擎对薄内容的态度不一样,别拿必应收录得多当作内容没问题的证据。同一份配置在测试环境跑通,不代表线上没事,两边的默认值经常不一样。
