先看现象。新版模板去掉了作者归档,页面里所有作者链接变成 404,两千条 author 地址一天内被蜘蛛抓了四千次,抓取错误率直接冲到两成。
把日志和配置对完,能解释这个现象的基本就这几处。作者页模板被删除,路由不再匹配。少数情况下是文章页的作者署名仍然输出链接。
另外,旧作者页没有做 301 到关于页或文章列表。
少数情况下是robots 里没有同步屏蔽 author 路径。
先统计作者路径的 404 数量
grep -c '/author/' access.log
署名改成纯文本或指向关于页
grep -rn '/author/' templates/post.php
旧路径统一 301 到作者文章列表
rewrite ^/author/([^/]+)/?$ /author-posts/$1 permanent;
等前面都确认过,再确认 404 数量归零
grep '/author/' access.log | grep -c ' 404 '
怎么算真的好了,看的是同一批现象。作者路径不再返回 404,署名链接指向可访问页面,抓取错误率回落到百分之一以内。
提醒一点。下线一个栏目要先找全入口,模板里残留一条链接,就会让整批地址变成死链。线上能稳定复现的问题都不算难,难的是只在大流量下才出现的那种。
