新域名上线一个半月,site 查询只有首页一条,sitemap 在 GSC 和百度都提交过三次,日志里蜘蛛只来过两次,每次只抓首页就走。
一开始怀疑是「全站页面 title 和 description 都是模板默认值」,查了一圈,方向不对。
这类报错背后常见的原因有几处,逐个排除就行。新域名没有外部链接,蜘蛛缺少进入内页的路径。另一种情况是导航和列表全由 JS 渲染,抓到的 HTML 里没有可跟随的链接。
少数情况下是服务器对新域名首次抓取的响应时间超过 3 秒。
先看蜘蛛实际抓了哪些地址
grep -E 'Googlebot|Baiduspider' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
再往下确认 HTML 源码里有没有链接
curl -s https://www.example.com/ | grep -o '<a href="[^"]*"' | head -20
提交几条内页做手动抓取
curl -sI https://www.example.com/a/1.html | head -3
给新站加几条站外入口链接
curl -s https://www.example.com/ | grep -c 'rel="nofollow"'
恢复的判定其实很直接。抓取日志里开始出现二三级目录的请求,两周内收录从 1 条涨到 200 多条。
新站最难的是让蜘蛛知道内页存在,先把链接放进初始 HTML,再谈内容质量。这类问题最好一次改到位,反复小改反而容易把原因搅混。
