执行评测时报任务名不存在,试了 mmlu、ceval 都提示找不到,版本是 0.4.2。

一开始怀疑是「评测集需要额外安装可选依赖」,查了一圈,方向不对。

这类报错背后常见的原因有几处,逐个排除就行。任务名大小写或下划线写法不对。少数情况下是该任务在安装的版本里尚未内置。

不容易想到的是,任务注册在自定义目录,没加搜索路径。

先列出当前版本支持的全部任务

lm_eval --tasks list

再往下按输出里的准确名称执行评测

lm_eval --model hf --model_args pretrained=Qwen/Qwen2.5-7B-Instruct --tasks mmlu --batch_size 4

缺依赖时补装评测所需组件

pip install 'lm-eval[math]'

自定义任务通过目录参数加载

lm_eval --tasks mytask --include_path ./tasks --model hf --model_args pretrained=./model

改之前先确认了最近有没有人动过配置,避免白查一遍。

改完先别撤,确认这几项。评测正常开始并输出各子任务的准确率,日志里能看到样本数量与耗时。

不同大版本之间任务名会变,网上抄来的命令经常跑不通,先列一次任务清单比反复试名字高效得多。监控比日志更早给出信号,事后回看经常能提前半小时发现异常。

作者 9823189