import unicodedata
text = unicodedata.normalize('NFKC', raw).lower()
print(text)
后台词库填了 60 个英文词,用户用全角字母和数字发评论,一天过了 400 条,审核队列里一条记录都没有。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。
追下去是这么回事:匹配前没有做 Unicode 归一化,全角 A 和半角 A 是两个码点,词库里的写法对不上。大小写也没有统一转换,词库里的混合写法同样会漏。
围绕「全角敏感词」排查时,命令行跑一遍比在面板里点十次有用,面板会替你做掉不少隐式操作。同一份配置存在多处的,先确认改的是被加载的那一份。
新版本先放一台机器上跑一天再全量,问题一般在这段时间暴露。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。
处理上按这个顺序:在匹配前统一做 NFKC 归一化,再转小写;词库写入时走同一套归一化流程,避免两边标准不一致;补一批全角、大小写混合的用例跑一遍。
确认没问题再收工,全角写法的评论进入待审核队列,命中提示里能看到对应词。
