Tech Times 科技与产业动态·· 11 天前AI 评分32
Ai2 发布 OlmoCore 3:开源 MoE 训练栈吞吐提升 2.7 倍
Ai2 Releases OlmoCore 3: Open MoE Training Stack Delivers 2.7x Throughput Gain
AI 导读
艾伦人工智能研究所(Ai2)发布开源 MoE 训练框架 OlmoCore 3,核心改动是从全分片数据并行转向分布式数据并行,让专家常驻 GPU、数据路由至专家,消除大部分通信开销。
来源:Tech Times 科技与产业动态 · techtimes.com