技术站把产品手册放在 /files/ 下，共 900 个 PDF，每个都挂了站内链接。GSC 抓取统计显示一天 7000 次请求全给 PDF，正文页一条没有，新文一周没进索引。
一开始怀疑是「sitemap 里包含了所有附件的地址」，查了一圈，方向不对。
排查方向其实有限，先把可能性排一排。附件目录对蜘蛛完全开放，站内还有单独的手册列表页。还有一种是列表页用了 nofollow 但蜘蛛仍按 sitemap 里的地址抓取。
还有一种情况，手册列表页用了相对路径 迁移后拼成了错误域名。
动手时先统计附件目录的抓取占比
awk '{print $7}' access.log | grep -c '^/files/.*pdf'接着在 robots 里挡掉附件目录
Disallow: /files/生成 sitemap 时排除附件类型
SELECT ID FROM wp_posts WHERE post_type='attachment' AND post_mime_type LIKE 'application/pdf';两周后看正文页抓取是否回升
awk '{print $7}' access.log | grep -c '^/post/'改完先别撤，确认这几项。屏蔽附件目录后，PDF 请求占比从 71% 降到 4%，正文页的日均抓取从 0 回到 900 次，索引量开始恢复。
附件对搜索没有收录价值时就在 robots 里挡掉，别只依赖 nofollow，sitemap 里混进去照样会被抓。拖得越久，排查成本越高，因为现场状态会被后续操作覆盖。