安装 faster-whisper 后运行报 Could not locate cudnn_ops_infer64_8.dll,只能用 CPU 跑,速度慢很多。
真正麻烦的地方在于,几个原因的现象几乎一样。缺少与推理引擎匹配的 cuDNN 运行库;CUDA 版本与库文件版本不一致;库文件存在但不在动态链接搜索路径;装了不兼容的推理后端版本。
上来先确认推理后端的 CUDA 版本
python -c "import ctranslate2;print(ctranslate2.__version__, ctranslate2.get_cuda_device_count())"
然后安装对应版本的运行库
pip install nvidia-cudnn-cu12==8.9.7.29
随后把库目录加入搜索路径
$env:PATH="$env:PATH;C:\Python\Lib\site-packages\nvidia\cudnn\bin"
末了验证能识别到显卡
python -c "import ctranslate2;print(ctranslate2.get_cuda_device_count())"
手上没有现成的复现脚本,就照着线上请求手工拼了一个。
报错是间歇性的,我蹲守了半小时才抓到一次完整现场。
白天有业务在跑,能验证的部分都压到了晚上做。
别只看报错消失,验证要多做一步。设备数量返回大于零,转写时使用显卡加速,长音频耗时明显下降,CPU 占用也回到低位,批量任务不再排队。
这类库在 Windows 上路径问题特别多,实在装不通就用容器跑,环境一致性能稳定。同一份配置在测试环境跑通,不代表线上没事,两边的默认值经常不一样。