先把当时的情况摆出来。同一份 sitemap 在百度和 Google 都正常,搜狗站长平台提交后状态停在等待抓取三周没有变化。站点用泛域名解析,后台显示站点已经验证通过。
真正麻烦的地方在于,几个原因的现象几乎一样。平台要求 sitemap 与验证站点同协议同主机,提交的是裸域而站点跳 www。另一种情况是文件被 gzip 包裹后类型不对,平台解不开。
另外,robots 里没有声明 Sitemap 行,平台不会主动发现。少数情况下是站点被抓取频次过低,队列一直排不上。
第一件事是确认提交地址与验证站点一致
curl -sI https://www.example.com/sitemap.xml
然后在 robots 里补 Sitemap 声明
Sitemap: https://www.example.com/sitemap.xml
接着检查文件类型是否是 XML
curl -sI https://www.example.com/sitemap.xml | grep -i content-type
等前面都确认过,再用平台抓取诊断触发一次
https://zhanzhang.sogou.com/
怎么算真的好了,看的是同一批现象。一周后状态从等待抓取变成已抓取,条目数与文件一致,搜狗侧开始出现新文章。
提醒一点。各家平台的 sitemap 校验规则不一致,同一份文件在不同后台的表现要分开看。监控比日志更早给出信号,事后回看经常能提前半小时发现异常。
