应用层脱敏做完了,日志采集平台又存了一份原始日志,索引里能搜到完整身份证号。日志里能对上时间点,这种反而好排。
脱敏在业务代码里做,异常堆栈和框架日志没走那条路径。采集端直接收 stdout,没有二次过滤。这一点先确认清楚,后面就不用反复试。
filter {
mutate { gsub => ["message", "1[3-9]\d{9}", "***"] }
}
「日志平台二次存储」确认了原因之后,改动尽量只碰那一处,顺手改的东西后面最容易出问题。能分两步做的操作就别合成一步,中间看一眼返回值,出问题好判断。
报错里带路径的,先去看那个路径在不在、权限对不对。同一份配置存在多处的,先确认改的是被加载的那一份。
新版本先放一台机器上跑一天再全量,问题一般在这段时间暴露。
处理上按这个顺序:采集端加过滤规则 按正则替换;关闭框架的请求体日志;平台侧对敏感字段做字段级加密;抽查索引确认搜不到明文。
结果对不对很好判断,平台索引里按完整号码和证件号搜索都是零结果。
