导航菜单把全部分类和子分类都展开了,一个页面里有一百多个链接,蜘蛛每次抓取都只走了一部分就停了。
原因不止一个,得分开看。导航没有做层级收敛,全部平铺展示。还有一种是移动端和桌面端各输出一份,重复计算链接。
还有一种情况,侧栏又重复了一遍全部分类。
先统计页面里的链接总数
curl -s https://www.example.com/ | grep -o '<a ' | wc -l
然后按层级折叠二级分类
echo wp_list_categories('depth=1');
移动端复用同一份导航结构
curl -s https://www.example.com/ | grep -c 'nav'
当时还开着另一个排查窗口,两边日志对照着看才定位到。
同一份数据我导出了两份,一份留底,一份拿来试。
改完先别撤,确认这几项。页面链接数量降到合理范围,重要栏目仍然可达,抓取深度和覆盖面反而更好。
补一句。链接多不代表收录快,权重被平均分散后每个页面拿到的都很少,收敛导航比堆链接更有效。改动前把原配置备份一份,出问题能马上回滚,这比任何技巧都实用。