跳到正文
原文
Tech Times 科技与产业动态·· 12 天前AI 评分33

Meta AI 提出 Loop Scaling Laws:半规模循环 MoE 在推理任务上追平更大模型

Meta AI Loop Scaling Laws: Half-Size Looped MoE Matches Larger AI Models on Reasoning Tasks

AI 导读

Meta AI 发布首个同时描述循环权重共享与 MoE 稀疏路由的数学框架 Loop Scaling Laws,可在给定训练算力下配置 Looped MoE(LMoE),相同训练算力下其推理基准表现可追平约两倍规模的传统 MoE 模型。

来源:Tech Times 科技与产业动态 · techtimes.com