先把当时的情况摆出来。按说明跑中文评测,下载数据集阶段一直失败,提示连接超时或校验不通过,重试多次仍然如此。
原因不止一个,得分开看。数据托管在境外地址,直连不稳定。少数情况下是本地已有缓存但文件不完整。
少数情况下是数据集需要同意协议后才能下载。不容易想到的是,磁盘剩余空间不足,解压中断。
第一件事是配置镜像地址再重试下载
$env:HF_ENDPOINT='https://hf-mirror.com'; python download.py --dataset ceval
再往下清理不完整缓存后重新拉取
python -c "import shutil;shutil.rmtree('~/.cache/ceval', ignore_errors=True)"
随后确认磁盘空间充足
Get-PSDrive C | Select-Object Used,Free
手动下载后放到指定目录再评测
python -c "import os;print(os.path.abspath('./data/ceval'))"
恢复的判定其实很直接。数据集校验通过,评测能正常读取全部科目,最终输出各科加权分数。
这里还有个坑。缓存半途中断时目录结构看起来正常,实际上少文件,评测会给出偏低的分数而不报错,清理重下最稳妥。同一份配置在测试环境跑通,不代表线上没事,两边的默认值经常不一样。