活动页做倒计时跳转 用 meta http-equiv=refresh content=0 页面里只有一行脚本和空白 div 用户无感 蜘蛛抓到的正文十几个字 收录后摘要全是站点名 目标页自己一直没被单独收
一开始怀疑是「目标页没有正常内链 蜘蛛只能靠跳转发现」,查了一圈,方向不对。
原因不止一个,得分开看。meta refresh 是弱信号 蜘蛛不一定跟随。少数情况下是跳转页本身返回 200 且正文极薄 被判空页。
另外,head 里还有 JS 二次跳转 两个目标不一致。
动手时先看一下跳转页的正文长度和状态码
curl -s -o /dev/null -w '%{http_code} %{size_download}\n' https://www.example.com/act
随后改成服务端 302 不再用 meta
return 302 https://www.example.com/p/2026;
给目标页补一条正常内链
curl -s https://www.example.com/ | grep -c '/p/2026'
等前面都确认过,再确认目标页能被单独抓取
curl -s https://www.example.com/p/2026 | head -20
别只看报错消失,验证要多做一步。跳转页不再进索引 目标页在抓取日志里出现独立请求 摘要能抽到正文首段。
提醒一点。meta refresh 只适合临时提示 0 秒跳转比 302 没有任何优势 还多一层解析。报错文案容易误导,真正的原因往往在相邻那一层的日志里。
