记录一下那天晚上的排查过程。商品列表每页 100 条共 80 页,单页 HTML 超过 1.2MB,GSC 里第 30 页之后的地址全部停在已发现未编入。
刚开始盯着「每页 100 条导致正文几乎没有描述文本,被判薄内容」,折腾了半个多小时,排掉了。
这类报错背后常见的原因有几处,逐个排除就行。单页体积过大,蜘蛛单次抓取的时间和字节配额被吃满。也可能是80 页内容重复度高,只有商品名和缩略图不同。
另外,分页之间缺少差异化标题和摘要。
先看单页响应大小
curl -sI https://www.example.com/list/page/30/ | grep -i content-length
接着把每页条数降到 24
UPDATE wp_options SET option_value='24' WHERE option_name='posts_per_page';
然后确认页数变化后旧地址的状态
curl -sI https://www.example.com/list/page/50/ | head -1
等前面都确认过,再抽查分页标题是否不同
curl -s https://www.example.com/list/page/2/ | grep -o '<title>[^<]*</title>'
别只看报错消失,验证要多做一步。单页大小降到 300KB 以内,页数从 80 变成 340,第 30 页之后的状态在四周内转为已编入。
提醒一点。每页条数是收录和体验的折中,100 条省了翻页次数,代价是单页太重、蜘蛛读不完。拖得越久,排查成本越高,因为现场状态会被后续操作覆盖。
