SELECT lang, COUNT(*) FROM comments WHERE status=1 GROUP BY lang; # 对比各语言的拦截率
站点开了英文和阿拉伯文版本,违规英文内容通过率接近 100%,阿拉伯文更是没有任何审核记录。这类现象通常不是突然出现的,往前翻半天日志能看到苗头。
追下去是这么回事:词库和分词只按中文实现,英文没有词形变化处理,阿拉伯文从右到左的字符也没进匹配流程。语言判断缺失,全部走默认分支。
「跨语言审核缺失」确认了原因之后,改动尽量只碰那一处,顺手改的东西后面最容易出问题。同类问题如果隔一段时间又出现,多半是某个定时任务或重启流程把改动冲掉了。
把这次用到的命令存进笔记,比记住结论有用,换个环境还能照着走。
处理上按这个顺序:按语言分别配置词库和分词器,英文做词干还原;没有词库的语言先接第三方审核接口兜底;统计各语言的审核覆盖率,低于阈值就报警。
确认没问题再收工,英文和阿拉伯文内容都有审核记录,拦截率与中文接近。
