Tech Times 科技与产业动态·· 24 天前AI 评分42
DeepSeek V4.1-Flash 将 AI Agent 显存成本降低 4 倍:新架构让单 GPU 承载更多会话
DeepSeek Cuts AI Agent Memory Cost 4x: New Architecture Fits More Sessions Per GPU
AI 导读
DeepSeek 发布 DeepSeek-V4.1-Flash,其全局 KV 注意力缓存仅 890 字节/token,是上一代的四分之一、V1 的 437 分之一。同等硬件下可承载 4 倍并发 AI Agent 会话,或在四倍长上下文下运行同样数量的会话。该模型为 5520 亿参数 MoE,采用 CSA2 压缩与因果编码器-解码器架构,40 层中 20 层为编码器、20 层为解码器。
来源:Tech Times 科技与产业动态 · techtimes.com