陆零知识
免费网络在线学习平台
报错是这么冒出来的。在没有 InfiniBand 的机器上启…
这个坑值得记一笔。两机四卡训练时报 NCCL WARN Co…
现场是这样的。用 accelerate launch 启动训…
训练完发现保存目录里是一堆 model-00001-of-0…
事情本身不复杂，线索都在日志里。按文档执行 deepspee…
这类问题我又碰上了一次。切到 ZeRO-3 后训练报错，提示…
训练结束调用 save_pretrained 时抛出 Att…
先把当时的情况摆出来。配置里把 bnb_4bit_compu…
事情本身不复杂，线索都在日志里。用 4bit 量化加载模型时…
先把当时的情况摆出来。为了省显存打开 gradient_ch…