auto-gptq 装完报 CUDA extension 缺失

导入量化模型时报 CUDA extension not installed，只能退回到慢速实现，推理速度差了好几倍。

一开始怀疑是「torch 版本与扩展编译版本不一致」，查了一圈，方向不对。

排查方向其实有限，先把可能性排一排。安装时没有匹配到当前 CUDA 版本的轮子。还有一种是是从源码编译但缺少工具链。

不容易想到的是，显卡算力过低，扩展主动禁用。

动手时先按 CUDA 版本从专用源安装

pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu121/

接着确认扩展是否可用

python -c "import auto_gptq;print(auto_gptq.__version__)"

然后对齐 torch 与 CUDA 版本后重装

pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121

剩下的就是用模型加载测试实际速度

python -c "print('bench tokens/s')")

我习惯把每一步的执行时间和结果记在一边，后面复盘省事。

恢复的判定其实很直接。扩展正常加载，量化模型推理速度恢复到预期，显存占用保持低位。

提醒一点。没有扩展时依然能跑，只是慢很多，性能问题容易被误判成模型本身慢，先确认扩展加载状态再优化。报错文案容易误导，真正的原因往往在相邻那一层的日志里。