算力需求井喷,存量优化成破局关键

最新行业数据显示,国内日均词元调用量已经迈过500万亿大关。这个数字背后,是智能算力市场需求的急剧膨胀。一个现实困境摆在眼前:短期内新增的智能算力供给难以跟上需求增长的步伐。于是,整个行业的焦点开始转向——如何从现有的算力存量中挖掘出更大的效益。

Mooncake系统:用软件创新盘活硬件存量

2025年,由郑纬民院士领衔的团队给出了一个令人瞩目的答案。他们研发的大模型推理系统Mooncake,因其在算力调度上的突破性创新,荣获了国际顶级奖项。这项创新的核心,被概括为“PD分离技术”。

简单来说,传统的大模型推理流程中,同一批计算资源需要先后处理“理解用户问题”和“生成回答”这两个任务。这就好比让同一组工人既要去仓库取原料,又要在车间加工,过程中难免存在等待和效率损耗。

PD分离如何工作?效率提升从何而来?

PD分离技术彻底改变了这一工作模式。它将整个推理链条清晰地拆解为两个专业化模块:

  • P模块(问题理解):专职负责“读入”和深度解析用户提出的问题。
  • D模块(答案生成):专职负责根据P模块处理后的结果,组织和生成最终的回答。

这种分工使得两组计算资源可以并行不悖地工作。当一组资源在专注地解析问题时,另一组资源可以同步地为上一个已解析好的问题生成答案。流水线式的作业消除了传统方式中的空闲等待时间。

实际应用效果极为显著。在硬件规模保持不变的前提下,采用PD分离技术的系统能够多承接高达75%的用户请求。对于长文本处理这类对算力消耗尤为巨大的任务,系统的吞吐能力更是获得了超过五倍的提升。这不仅仅是软件的胜利,更是对现有硬件投资价值的一次深度释放。

当前,算力已成为驱动人工智能发展的核心燃料。在“向存量要效益”的行业共识下,类似Mooncake系统这样的软件层创新,正成为缓解算力紧张、推动AI应用大规模落地的重要路径。