AWQ 模型报 kernel 只支持特定算力

加载 AWQ 量化模型时报错，提示当前显卡算力不受支持，换成同尺寸的 GPTQ 模型却能跑。

一开始怀疑是「CUDA 版本与内核编译版本不匹配」，查了一圈，方向不对。

把日志和配置对完，能解释这个现象的基本就这几处。AWQ 的内核针对较新架构编译。另一种情况是显卡算力低于内核要求的最低值。

另外，用了第三方重打包的权重，格式有差异。

上来先确认显卡算力

python -c "import torch;print(torch.cuda.get_device_capability())"

随后换用兼容性更好的量化格式

python -c "print('try gptq or gguf instead')"

更新内核库到匹配版本

pip install -U autoawq

末了用最小脚本验证加载

python -c "from awq import AutoAWQForCausalLM;print('ok')"

这次没动代码，只在配置和运行环境上找原因。

隔了一天再看，现象没变，说明不是偶发。

改完先别撤，确认这几项。模型能正常加载并推理，速度符合量化预期，不再报内核不支持。

补一句。不同量化格式对硬件的要求不同，选格式前先看目标机器的算力，盲目追新格式容易在部署阶段翻车。这类问题最好一次改到位，反复小改反而容易把原因搅混。