AB 实验报表和订单表 一个过滤测试账号 一个没过滤

实验组转化率报表 11.2%，订单表重算 9.6%，差 1.6 个百分点，测试账号在报表里没被剔除。碰到这种情况，我一般先确认改动有没有真的生效。

原因不复杂，实验报表只保留了打标用户，订单表却包含内部测试和白名单账号。测试账号下单率高，把实验组整体拉高。两边的用户范围没有对齐。

「样本过滤不一致」相关的验证我通常做两遍，改完一次、隔天再看一次，确认不是临时生效。报错里带路径的，先去看那个路径在不在、权限对不对。

SELECT group_id, COUNT(DISTINCT user_id), SUM(converted) FROM exp_bucket WHERE exp_id='E102' GROUP BY group_id;
SELECT * FROM exp_bucket WHERE is_internal = 0 AND is_whitelist = 0;

同一份配置存在多处的，先确认改的是被加载的那一份。新版本先放一台机器上跑一天再全量，问题一般在这段时间暴露。

具体做法是，实验分析前先剔除内部账号和白名单；用户范围以实验分桶表为准 不从订单表反推；把过滤条件写进实验配置 不写在 SQL 里；用同一批分桶用户重算两组转化率。

最后用这个标准收尾，实验组和对照组转化率差距缩到 0.2 个百分点，报表与订单表一致。