Tech Times 科技与产业动态·· 12 天前AI 评分49
MIT 与 NVIDIA 找到根因：8 位 LLM 训练精度追平全精度
Eight-Bit LLM Training Now Matches Full Precision: MIT and NVIDIA Fix Root Cause
AI 导读
MIT 和卡内基梅隆大学研究者提出 Delta-Matching 方法，修正 FP8 注意力机制中前向与反向传播的缩放因子不一致（stale delta），使原生 8 位 LLM 训练精度追平全精度。论文 9 月 29 日发布于 arXiv，指出该误差会破坏 softmax 梯度的零行和不变性，在 5.29B 参数模型上 RULER-8K 得分从 BF16 的 53.5% 跌至 16.3%。
来源：Tech Times 科技与产业动态 · techtimes.com