列表页每页都输出了 rel next 和 rel prev,翻到深处仍然只收录第一页,代码里这两组链接看着完全正常,地址也没有写错。乍看像缓存或者权限的锅,追下去往往不是。
curl -s https://example.com/list/ | grep -Ei 'rel=.next.' # 输出一条即表示标记存在,但别指望它带收录
追下去是这么回事:这两组链接早已不再作为索引信号,写了也不会改变分页处理;深层页面能不能被收录,取决于内容差异和入口多少,光靠标记没有作用。
「rel next prev 分页」这类改动最怕改一半,回滚脚本先准备好,再动生产。接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。
偶发问题先统计频率,一小时几次和一天一次,查法完全不同。改完顺手把文档补一句,省得下次自己重新推一遍。
具体做法是,保留标记,但要清楚它现在只是语义提示;确保每页的内容彼此之间有足够明显的差异;给深层页面补上可以被抓取的入口链接。
验收就看一点,深层页面靠入口陆续被收录,不再只停在第一页,翻页流量回升。
