先看现象。百度索引量从月初起就停在 12800，十天没动，新发的三十多篇都显示已抓取未收录，抓取频次却一直正常，日志里蜘蛛每天都来。
真正麻烦的地方在于，几个原因的现象几乎一样。新页面模板里正文放在折叠区块，渲染后正文占比太低。还有一种是文章页与聚合页内容重复度高，被判定为低价值副本。
少数情况下是站点地图里的新地址排在文件末尾，超出蜘蛛单次读取范围。
不容易想到的是，页面首屏广告位占了两屏，正文要滑三下才出现。
上来先核对抓取日志里新页面的响应时间
grep '1.html' access.log | awk '{print $4, $9, $request_time}' | tail -5再往下把折叠正文改成默认展开
新文章放到站点地图最前面而不是末尾
curl -s https://www.lu0.cn/sitemap.xml | head -20剩下的就是用抓取诊断看百度渲染后的正文长度
恢复的判定其实很直接。调整后第十三天索引量开始爬升，一周增加了一千二百条，已抓取未收录的积压从三十篇降到个位数。
补一句。索引量长时间不动时抓取频次正常反而是好消息，说明问题在页面价值判断，不在抓取通道。同一份配置在测试环境跑通，不代表线上没事，两边的默认值经常不一样。