Hugging Face 博客(含机构投稿)·· 1 天前精选AI 评分67
Meta 推出开放权重多模态混合专家模型 Muse Spark Open
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
AI 导读
Meta 推出 Muse Spark Open,支持文本、图像、音频和视频输入,输出文本,面向编程与智能体任务。模型总参数约8160亿,每个词元激活约420亿参数,上下文窗口最高100万词元,提供 BF16 和 NVFP4 检查点。Hugging Face 给出了多种推理框架的部署方案及 TRL 微调示例,并提醒所有专家参数均需驻留内存,部署仍需承担完整模型的内存需求。
推荐理由
原文区分了每个词元的激活参数量与部署时的完整内存需求,为比较不同量化版本和硬件配置的部署门槛提供了具体依据。
原文插图
图源:Hugging Face 博客(含机构投稿) · 点击图片查看大图。
来源:Hugging Face 博客(含机构投稿) · huggingface.co