按教程执行量化时提示需要 imatrix 文件，不加这个参数又担心量化后质量下降。
一开始怀疑是「量化类型与 imatrix 不匹配」，查了一圈，方向不对。
把日志和配置对完，能解释这个现象的基本就这几处。低比特量化建议配合重要性矩阵。少数情况下是imatrix 需要用校准语料单独生成。
另外，文件路径写错，脚本读不到。
第一件事是按普通方式完成一次基线量化
./llama-quantize model-f16.gguf model-q4.gguf Q4_K_M生成重要性矩阵
./llama-imatrix -m model-f16.gguf -f calib.txt -o imatrix.gguf带上矩阵重新量化低比特版本
./llama-quantize --imatrix imatrix.gguf model-f16.gguf model-q3.gguf Q3_K_M剩下的就是对比量化前后的输出质量
python -c "print('compare perplexity')")同样的操作我在测试机上先走了一遍，线上只做验证过的部分。
别只看报错消失，验证要多做一步。低比特模型在测试集上的困惑度明显低于无矩阵版本，生成质量下降更小。
校准语料要和实际使用场景接近，用无关语料生成的矩阵效果有限，甚至可能比不用更差。这类问题最好一次改到位，反复小改反而容易把原因搅混。