执行评测时报任务名不存在,试了 mmlu、ceval 都提示找不到,版本是 0.4.2。
一开始怀疑是「评测集需要额外安装可选依赖」,查了一圈,方向不对。
这类报错背后常见的原因有几处,逐个排除就行。任务名大小写或下划线写法不对。少数情况下是该任务在安装的版本里尚未内置。
不容易想到的是,任务注册在自定义目录,没加搜索路径。
先列出当前版本支持的全部任务
lm_eval --tasks list
再往下按输出里的准确名称执行评测
lm_eval --model hf --model_args pretrained=Qwen/Qwen2.5-7B-Instruct --tasks mmlu --batch_size 4
缺依赖时补装评测所需组件
pip install 'lm-eval[math]'
自定义任务通过目录参数加载
lm_eval --tasks mytask --include_path ./tasks --model hf --model_args pretrained=./model
改之前先确认了最近有没有人动过配置,避免白查一遍。
改完先别撤,确认这几项。评测正常开始并输出各子任务的准确率,日志里能看到样本数量与耗时。
不同大版本之间任务名会变,网上抄来的命令经常跑不通,先列一次任务清单比反复试名字高效得多。监控比日志更早给出信号,事后回看经常能提前半小时发现异常。