站点打不开,值班的两个人一个去翻代码一个去重启服务,四十分钟过去才发现是证书问题,中间没人记做过什么。碰到这种情况,我一般先确认改动有没有真的生效。
原因不复杂,没有成文的应急顺序,谁先看到谁上手,检查和重启混在一起做,重启又把现场日志冲掉,判断依据也跟着一起没了,下次还是乱。
「宕机应急流程」相关的验证我通常做两遍,改完一次、隔天再看一次,确认不是临时生效。别只看报错的最后一行,往上看几行,真正的起因通常在上面。
curl -Iv https://www.example.com 2>&1 | tail -20 ss -lntp | grep -E ':(80|443)' tail -100 /var/log/nginx/error.log
同类问题如果隔一段时间又出现,多半是某个定时任务或重启流程把改动冲掉了。
具体做法是,先按清单确认是解析 网络 证书还是应用层的问题;动手前把当前状态和日志留一份,别让重启把现场冲掉;每次改动都记进时间线,恢复之后照着这条线做复盘。
最后用这个标准收尾,下次演练按流程十分钟内定位到层,时间线和现场日志都留得下来。
