采集站抓走文章后,在页面头部加了规范链接指向他们自己的域名,两周后原站这篇文章从搜索结果里消失,只剩对方那条。日志里能对上时间点,这种反而好排。
采集站复制正文时顺手改了规范链接,搜索引擎先抓到哪边就认哪边。原站的链接正常,但发布时间和抓取频率都不占优。这一点先确认清楚,后面就不用反复试。
curl -s https://example.com/post | grep -o '<link rel="canonical"[^>]*>' # 与采集页对比规范链接指向
「采集站 canonical」改完先别急着全量,挑一台机器放半天,真有问题这段时间就能看出来。线上出问题先对时间点,跟发布、备份、任务执行的时刻排一排,能省掉一半功夫。
处理上按这个顺序:原站确保每篇都有指向自身的规范链接,且不带参数;提交地图文件并主动推送新链接,抢抓取时序;在搜索资源平台里对采集页提交移除请求;长期靠原创声明和版权投诉,单靠规范链接挡不住。
结果对不对很好判断,原站规范链接指向自身,采集页在结果里消失,原链接恢复收录。
