搜索站点名时结果里出现一堆 /assets/img/banner-1.jpg 的图片页，日志里爬虫对静态目录的请求占了 38%。乍看像缓存或者权限的锅，追下去往往不是。
User-agent: * Disallow: /assets/ Disallow: /wp-content/uploads/*-150x150.jpg
追下去是这么回事：robots.txt 只拦了后台和搜索页，静态目录完全放开，图片被图片搜索抓走单独成页。这些页面没有正文，还会稀释真实页面的权重。
「静态资源收录」相关的日志我一般连着看前后五分钟，单看一条报错经常判断不出是哪一步失败。验证用真实数据走一遍，测试数据太干净，边界情况根本碰不到。
能分两步做的操作就别合成一步，中间看一眼返回值，出问题好判断。报错里带路径的，先去看那个路径在不在、权限对不对。
同一份配置存在多处的，先确认改的是被加载的那一份。
具体做法是，在 robots.txt 里 Disallow 掉 assets 和缩略图目录；已经收录的用 noindex 或者删除工具处理 光靠 robots 拦不住存量；用日志确认爬虫对静态目录的请求比例降下来。
验收就看一点，一周后日志里静态目录的爬虫请求占比降到 5% 以下。