跳到正文
原文
Unite.AI 人工智能与商业应用新闻·· 14 小时前AI 评分54

Tensormesh发布KV缓存复用平台,旨在降低大语言模型推理成本

Tensormesh Launches Platform to Cut LLM Inference Costs Through KV-Cache Reuse

AI 导读

Tensormesh于2026年10月14日发布Tensormesh Platform,通过复用KV缓存减少自托管大语言模型重复处理提示词的计算。平台基于LMCache,在GPU内存、CPU内存和存储之间管理缓存,并提供安全、监控、保留策略和多租户管理功能;缓存复用主要加速提示词处理,不直接加速新输出词元的生成。

来源:Unite.AI 人工智能与商业应用新闻 · unite.ai