opencc -i input.txt -o output.txt -c t2s.json
head -n 5 output.txt

同一批违规内容改成繁体后全部通过,简体版本被拦下,后台统计里繁体内容的命中率不到 2%。先别急着动参数,把报错原文和时间点记下来,顺序反了容易白折腾。

原因不复杂,词库只有简体条目,匹配前没有做繁简转换。部分词在两种写法下字形完全不同,靠包含关系也匹配不到。

「简繁敏感词」确认了原因之后,改动尽量只碰那一处,顺手改的东西后面最容易出问题。改完隔一天再看一次,当场正常不代表能稳住。

测试环境和线上的差别,往往就在版本号和那几行被忽略的配置上。线上出问题先对时间点,跟发布、备份、任务执行的时刻排一排,能省掉一半功夫。

处理上按这个顺序:匹配前用 OpenCC 把文本统一转成简体;词库同时保留繁简两版,避免转换带来歧义;抽一批繁体样本回归,确认命中率和简体接近。

改完只确认一件事:繁体写法的违规评论被拦下,日志里能对上命中的词。

作者 9823189