手上十几个行业站用的是同一套模板，正文结构、导航文案甚至内链锚点都一模一样，日志里蜘蛛每个站只抓首页就离开。
一开始怀疑是「文章结构靠采集拼凑，段首句式高度相似」，查了一圈，方向不对。
排查方向其实有限，先把可能性排一排。模板的导航和页脚在全站重复，正文占比被压到三成以下。也可能是十几个域名共用一套 IP 和同一份统计代码，关联特征明显。
不容易想到的是，站群之间互相交叉链接，形成闭环外链。
量一下正文在整页里的字符占比
curl -s https://www.example.com/a/ | sed 's/<[^>]*>//g' | wc -m然后统计各站的响应头和 IP 是否一致
dig +short www.example.com | head -3给每个站换独立的导航与正文结构
wp theme list --status=active复查被抓的页面层级
awk -F'"' '{split($2,a," "); print a[2]}' access.log | sort | uniq -c | head恢复的判定其实很直接。单站每天被抓的 URL 从个位数涨到几十条，正文占比超过六成，抓取深度从首页扩展到二级栏目。
容易忽略的是，站群最大的问题不是模板，而是没有独立的价值，模板改花了也救不回来，先让每个站有自己的一手内容。如果同一现象隔几天又出现，说明根因没找到，别当偶发处理。