python scan_history.py --batch 1000 --from 2022-01-01 --dry-run
# 先出报告再执行

词库更新后只对新内容生效,站内搜索还能搜出 400 条三年前的帖子,页面正常展示,没有任何审核标记。先别急着动参数,把报错原文和时间点记下来,顺序反了容易白折腾。

原因不复杂,审核只在写入时触发,存量数据没有跑过新规则。内容表两百万行,没人愿意全量扫,也没有增量标记。

「历史内容回溯」改完先别急着全量,挑一台机器放半天,真有问题这段时间就能看出来。备份不是备了就行,恢复一次才算数,很多备份文件打开才发现是空的。

接口问题先分清是没发出去、发出去了没收到,还是收到了处理失败。偶发问题先统计频率,一小时几次和一天一次,查法完全不同。

处理上按这个顺序:按发布时间倒序分批扫描,每批一千条,记录进度;命中的内容先转待审核,不要直接删除;扫描任务放低峰期跑,限制数据库连接数。

改完只确认一件事:扫描报告里的命中条数与抽样人工核对一致,存量内容进入复核队列。

作者 9823189