Supermicro（纳斯达克代码：SMCI）今天宣布与IBM和NVIDIA推出一项新的KV缓存存储方案。该联合方案整合了采用AMD EPYC 9005系列处理器（“Turin”）的Supermicro Petascale全闪存存储服务器、IBM Storage Scale软件，以及NVIDIA Dynamo推理框架软件和Spectrum-X以太网网络。

Supermicro表示，这些技术结合在一起，可以大幅缩短AI模型开始生成响应所需的时间。随着企业采用智能体式和长上下文AI工作流，这一点尤为关键。将KV缓存容量扩展到本地GPU内存之外，有助于提高GPU利用率和推理吞吐量，同时支持KV缓存内容的高可用性以及容量的非中断扩展。公司称，这将形成一种更具可扩展性和韧性的推理架构，从而提供更快、响应更及时的AI体验。

推理工作负载通常包括两个阶段：prefill和decode。在prefill阶段，输入文本会被转换为token，并由大语言模型处理，以生成推理所需的中间键值（KV）状态。通过将这些先前计算出的KV状态存储在持久化KV缓存中，系统可以在后续请求中重复使用，而无需重新计算相同上下文。智能体式工作流、代码助手、长上下文RAG、多模态AI以及多轮应用在处理大型代码库、文档、对话、图像和其他上下文时，可能会生成大量KV状态，很快就会超过GPU和CPU内存，因此需要将KV缓存卸载到高容量、共享的网络存储中。

Supermicro、IBM和NVIDIA的KV缓存方案提供了这一持久化存储层，有助于提升推理效率、吞吐量和可扩展性，同时减少重复计算。

该方案面向客户的主要优势包括：

• 联合方案验证——Supermicro、IBM和NVIDIA进行了广泛的集群级测试，以衡量性能，包括高并发和“噪声邻居”网络流量场景。
• 推理性能显著更快且更稳定——在Supermicro和NVIDIA的联合测试中，使用一个1200亿参数的大语言模型时，持久化KV缓存在13万token提示下将TTFT最高提升至56倍。[1] 当输入长度从3万token增加到13万token时，启用KV缓存后的TTFT仅增加0.377秒，而未使用KV缓存时则增加29.55秒，从而为长上下文工作负载带来更一致的性能。
• 更高的GPU利用率和吞吐量——通过将频繁复用的上下文保留在GPU内存之外，该方案有助于减少GPU空闲时间，提高推理吞吐量，并在不按比例增加GPU资源的情况下支持更高并发。
• 经验证的交钥匙AI基础设施——Supermicro、IBM和NVIDIA在高并发和“噪声邻居”场景下联合验证了这一集成架构，将NVIDIA Dynamo、IBM Storage Scale软件、Supermicro Petascale服务器和NVIDIA Spectrum-X网络结合在一起。
• 加速部署服务——Supermicro的工厂机架集成和现场部署服务可将该方案的部署时间从数周缩短至数天。

IBM Storage总经理Sam Werner表示：“企业需要一种根本上更好的方式来扩展AI推理。IBM、Supermicro和NVIDIA正在共同提供一种高性能、韧性的KV缓存方案，帮助客户最大化GPU投资、独立于计算资源进行扩展，并显著提升基础设施效率。这一合作代表着朝着让企业AI推理更具可扩展性、更可靠且更具成本效益迈出的重要一步。”

NVIDIA AI推理产品负责人Shruti Koparkar表示：“智能体式AI和长上下文应用依赖于在多个步骤中高效复用上下文，而NVIDIA Dynamo有助于编排分布式推理，使企业能够从每块GPU中获得更多可用吞吐量。通过将NVIDIA Dynamo和Spectrum-X以太网与Supermicro Petascale存储服务器及IBM Storage Scale结合，这一KV缓存方案创建了一个高性能共享存储层，可减少重复计算，改善首个输出令牌时间，并帮助客户扩展韧性的AI推理服务。”

更多关于Supermicro和IBM解决方案的信息可点击此处；要阅读IBM Redbook《Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference》，可点击此处。

关于Super Micro Computer, Inc.：Supermicro（纳斯达克代码：SMCI）是应用优化型整体IT解决方案的全球领导者。公司总部位于加利福尼亚州圣何塞，致力于为企业、云、AI以及5G电信/边缘IT基础设施提供率先上市的创新。公司提供服务器、AI、存储、物联网、交换系统、软件和支持服务等整体IT解决方案。Supermicro在主板、电源和机箱设计方面的专业能力，也进一步推动其开发和生产能力，使其能够为全球客户从云到边缘提供下一代创新。公司产品在美国、台湾和荷兰自主设计和制造，借助全球运营实现规模和效率，并优化总拥有成本（TCO）并降低环境影响（绿色计算）。其屡获殊荣的Server Building Block Solutions®产品组合，使客户能够通过从广泛的系统家族中选择，针对特定工作负载和应用进行优化，这些系统由灵活且可重复使用的模块构建而成，支持全面的外形规格、处理器、内存、GPU、存储、网络、电源和散热方案（风冷、自由空气冷却或液冷）。

Supermicro、Server Building Block Solutions和We Keep IT Green是Super Micro Computer, Inc.的商标和/或注册商标。

其他所有品牌、名称和商标均为其各自所有者的财产。

[1] 结果详见IBM Redbook：https://www.redbooks.ibm.com/docs/MD260021/MD260021.html