Tech Times 科技与产业动态·· 12 天前AI 评分33
Meta AI 提出 Loop Scaling Laws:半规模循环 MoE 在推理任务上追平更大模型
Meta AI Loop Scaling Laws: Half-Size Looped MoE Matches Larger AI Models on Reasoning Tasks
AI 导读
Meta AI 发布首个同时描述循环权重共享与 MoE 稀疏路由的数学框架 Loop Scaling Laws,可在给定训练算力下配置 Looped MoE(LMoE),相同训练算力下其推理基准表现可追平约两倍规模的传统 MoE 模型。
来源:Tech Times 科技与产业动态 · techtimes.com