会员中心的订单详情页地址带可猜测的自增 id，被用户分享到外部论坛。日志里蜘蛛一个月抓了 20 万次这类页面，正文全是登录提示。
真正麻烦的地方在于，几个原因的现象几乎一样。会员页没有 noindex，登录墙返回 200 和一段提示文字；URL 用自增 id，容易被穷举也容易被外链带进来；robots 没屏蔽该目录，只靠登录校验拦不住抓取；这些页面被算作有效内容，稀释了整站的抓取预算。
第一件事是确认登录墙页面的返回码与标记
curl -s -o /dev/null -w '%{http_code}\n' https://www.example.com/member/order/10086给会员目录统一加 noindex 与 nofollow
add_header X-Robots-Tag "noindex, nofollow" always;robots 里屏蔽该前缀作为兜底
Disallow: /member/等前面都确认过，再统计这类地址占用的抓取比例
grep -c '/member/' /var/log/nginx/access.log恢复的判定其实很直接。会员目录的抓取量从每月 20 万降到不足一千，抓取预算回流到内容页，新文章收录速度明显加快。
容易忽略的是，登录墙后面不要返回 200，配合 noindex 与 robots 三层一起做，光靠权限校验挡不住外链带来的抓取。同一份配置在测试环境跑通，不代表线上没事，两边的默认值经常不一样。