AI推理新标杆：英伟达Vera CPU性能实测解析

云AI平台DeepInfra近期发布了一项引人注目的基准测试结果。数据显示，在其高吞吐量AI推理环境中，采用英伟达Vera CPU的系统表现卓越，为下一代AI基础设施设定了新的性能门槛。

实测数据：速度与并发能力双重突破

测试基于DeepInfra实际生产环境进行，该平台每周处理的AI令牌量接近5万亿。结果显示，在保证相同服务质量的前提下，Vera CPU带来了两大核心提升：

  • 推理速度显著加快：协同处理速度最高达到其他CPU解决方案的2.2倍。
  • 并发能力大幅增强：能够支持的并发AI代理数量增加了60%。

这意味着，使用Vera CPU的云服务商可以在不牺牲响应质量的情况下，用更少的硬件资源驱动更多的AI智能体同时运行。

为AI代理时代量身打造

随着AI智能体承担的任务日益复杂，涉及推理、规划、工具调用等多步骤协作，对底层计算芯片的协调能力提出了更高要求。传统的通用CPU在此类工作负载中常面临瓶颈。

Vera CPU的设计正是为了应对这一挑战。作为英伟达“AI工厂”战略的一部分，该芯片从架构层面针对AI代理工作流进行了联合优化。它不仅仅加速单一模型调用，更优化了围绕每次调用的整个任务编排与数据流转过程。

对云基础设施的实质影响

DeepInfra的测试进一步指出，Vera CPU的高性能直接转化为了可观的运营优势。更高的处理速度和并发能力直接提升了数据中心基础设施的利用率。对于云服务提供商而言，这等同于在相同的资本支出下，获得了更强的AI服务输出能力和更优的总体拥有成本。

测试结论表明，这款专用CPU能够满足生产级AI代理应用对成本效益、低延迟和高吞吐量的严苛需求，为大规模部署复杂的AI服务扫清了关键的性能障碍。