陆零知识
免费网络在线学习平台
报错是这么冒出来的。数据集里大部分样本不到 500 toke…
记录一下那天晚上的排查过程。清洗完的训练集有八十万条，抽样发…
记录一下那天晚上的排查过程。把 sharegpt 格式数据转…
记录一下那天晚上的排查过程。把自建数据集直接喂给训练脚本，报…
现场是这样的。检查训练数据时发现大量标签是 -100，担心数…
先看现象。批量推理或训练时报错，提示 pad token i…
这类问题我又碰上了一次。用 bf16 训练到两百多步时 lo…
现场是这样的。为了省显存冻结了前二十层，结果训练 loss …
这个坑值得记一笔。四卡训练启动后停在 init_proces…
这个坑值得记一笔。同一台机器上先跑了一个训练任务，再启动第二…