GSC 里已抓取但未编入索引占一半，日志先看哪列

这个坑值得记一笔。站点两万条 URL，GSC 显示一万条已抓取但未编入索引，内容都是原创，标题和配图也都正常，却不知道该从哪改起。

真正麻烦的地方在于，几个原因的现象几乎一样。页面模板单薄，正文之外几乎没有可索引的独有内容；同一主题的页面过多，被判定为低价值集合；站内更新停滞，页面长期没有任何新信号。

动手时先按状态码和响应大小筛出被抓的页面

awk '$9==200 {print $7, $10}' access.log | sort -k2 -n | head -20

接着抽查这些页面的正文长度与内链数

curl -s https://www.example.com/a/ | wc -c

末了合并主题重复的页面并做 301

SELECT post_title, COUNT(*) FROM wp_posts GROUP BY post_title HAVING COUNT(*)>1;

怎么算真的好了，看的是同一批现象。合并和补内容之后，这批 URL 中约三成转为已编入索引，抓取频次没有下降，整体收录率明显改善。

容易忽略的是，已抓取说明蜘蛛认可地址可访问，问题在页面本身的价值，再怎么调 robots 和 sitemap 都不会改变这个状态。监控比日志更早给出信号，事后回看经常能提前半小时发现异常。