用全站 URL 清单和索引量对账 始终多出 2 万条 查了半天发现清单里包含标签页和搜索页 这些页面都输出了 noindex 本来就不该进索引 报表却把它们算进分母 覆盖率永远看着偏低
一开始怀疑是「分页和筛选页被算作独立页面」，查了一圈，方向不对。
把日志和配置对完，能解释这个现象的基本就这几处。对账清单取自 sitemap 而 sitemap 没排除 noindex 页。也可能是抓清单时没读页面里的 meta robots。
不容易想到的是，报表分母含 410 与 404 的历史地址。
先抽查清单里的页面是否带 noindex
curl -s https://www.example.com/tag/a | grep -o 'name="robots"[^>]*'生成清单时按 meta robots 过滤
python build_list.py --skip-noindex随后把 404 与 410 地址从分母剔除
grep -v -E ' (404|410) ' status.txt > live.txt末了重算覆盖率并与后台对照
python coverage.py --base live.txt改完先别撤，确认这几项。对账分母下降 2 万条 覆盖率与后台差值缩小到 3% 以内 剩下的差异能逐条解释。
补一句。分母不干净 覆盖率就没有意义 先把不该参与统计的页面剔掉再谈高低。同一份配置在测试环境跑通，不代表线上没事，两边的默认值经常不一样。