先把当时的情况摆出来。把 6 万条商品标题的类目标注外包，按 5% 抽检发现漏标率 20%、错标率 7%，供应商认为抽样太少不认账，验收卡在结算环节。
排查方向其实有限，先把可能性排一排。抽检样本按时间顺序取，集中在项目初期。也可能是验收标准只写了准确率没写漏标率。
还有一种情况，抽检由同一批标注员互检，存在互惠偏差。另外，类别不均衡，长尾类目样本几乎没被抽到。
上来先按类目分层重新抽样
python -c "import pandas as pd;d=pd.read_csv('labeled.csv');print(d.groupby('label').sample(frac=0.05,random_state=1).shape)"再往下把漏标率与错标率分别统计
python -c "import pandas as pd;d=pd.read_csv('audit.csv');print(d.diff_type.value_counts(normalize=True))"然后抽检改由内部另一组人执行并双盲
python assign_audit.py --audit-set audit_0601.csv --team internal --blind末了按分层结果给出拒收与返工范围
python acceptance.py --miss 0.2 --wrong 0.07 --threshold 0.05别只看报错消失，验证要多做一步。分层抽检后长尾类目的漏标被暴露，供应商返工 1.1 万条，二次抽检漏标率降到 3% 以内并通过验收。
抽检要按类目分层且由非交付方执行，只抽 5% 又不分层，结论既不可信也无法说服供应商。监控比日志更早给出信号，事后回看经常能提前半小时发现异常。