凌晨值班处理一个慢查询,误点全局降级开关,八分钟里 12 万次请求返回兜底数据,订单列表全是空的。开关操作日志只有一条 PUT /config/degrade,没记录操作人。碰到这种情况,我一般先确认改动有没有真的生效。

原因不复杂,开关放在通用配置页 和普通参数混在一起,没有二次确认。配置中心的操作审计没开,改完也没通知任何人。

「降级开关误操作」相关的日志我一般连着看前后五分钟,单看一条报错经常判断不出是哪一步失败。日志级别临时调高可以,记得改回去,长期开着既占磁盘又掩盖真问题。

curl -s config.internal/api/config/degrade
curl -s 'config.internal/api/audit?key=degrade.switch' | jq '.items[-3:]'

具体做法是,降级开关单独放一个页面 和普通配置隔开;打开前要求输入变更单号并二次确认;配置中心开启操作审计 记录操作人和 IP;开关变更后自动推一条消息到值班群。

最后用这个标准收尾,开关变更能在审计里查到操作人和时间,误开后 1 分钟内值班群收到通知并能一键回滚。

作者 9823189