跳到正文
原文
Hugging Face 博客(含机构投稿)·· 1 天前精选AI 评分67

Meta 推出开放权重多模态混合专家模型 Muse Spark Open

Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta

AI 导读

Meta 推出 Muse Spark Open,支持文本、图像、音频和视频输入,输出文本,面向编程与智能体任务。模型总参数约8160亿,每个词元激活约420亿参数,上下文窗口最高100万词元,提供 BF16 和 NVFP4 检查点。Hugging Face 给出了多种推理框架的部署方案及 TRL 微调示例,并提醒所有专家参数均需驻留内存,部署仍需承担完整模型的内存需求。

推荐理由

原文区分了每个词元的激活参数量与部署时的完整内存需求,为比较不同量化版本和硬件配置的部署门槛提供了具体依据。

原文插图

图源:Hugging Face 博客(含机构投稿) · 点击图片查看大图。

来源:Hugging Face 博客(含机构投稿) · huggingface.co