大模型推理迎来新突破：DSpark框架开源，高并发下性能飙升

6月27日，一项由学术界与产业界联合推动的重要进展正式公布。北京大学与DeepSeek共同发布并开源了名为DSpark的推理加速框架，其核心目标直指当前大语言模型（LLM）在真实生产环境中面临的最大挑战之一：高并发请求下的推理效率瓶颈。

从实验室到生产线：解决真实世界的效率难题

大语言模型的部署并非易事。当单个用户进行对话时，模型响应可能足够流畅。然而，一旦面临成百上千的并发请求——这在今天的在线服务中已是常态——响应延迟会显著增加，用户体验急剧下降。传统的优化方法往往顾此失彼，难以在吞吐量和生成速度之间取得平衡。

DSpark框架正是为此类生产级难题而生。它并非对模型本身的改动，而是专注于优化推理过程的“调度”与“执行”机制。团队透露，该框架的设计哲学在于更智能地利用计算资源，预测并合并计算路径，从而减少冗余操作。

实测数据亮眼：速度提升最高达85%

目前，DSpark已成功集成至DeepSeek最新模型的服务引擎中，进入实际预览阶段。官方提供的性能对比数据颇具说服力。

  • 对比基线：与此前生产环境采用的单Token推测解码基线技术相比。
  • 测试条件：在维持系统总体吞吐量（即单位时间处理请求的总量）完全相同的水平下。
  • 核心结果：单用户的文本生成速度获得了60%至85%的显著提升。这意味着，在服务器负载不变的情况下，每个终端用户都能感受到更快的响应速度。

这一提升对于需要实时交互的应用场景，如智能客服、在线编程助手或创意写作工具，具有直接影响。

全面开源，推动技术社区共建

遵循推动技术普惠的一贯理念，研究团队此次选择了全面开源。在GitHub平台的DeepSpec项目下，开发者与研究者可以自由访问：

  • 详细阐述技术原理与实验结果的学术论文。
  • 完整的训练代码与框架实现。
  • 相关的模型检查点。

这一举措旨在降低高性能推理技术的门槛，邀请全球社区共同测试、改进并拓展DSpark的应用边界，加速大模型高效部署技术的迭代与发展。

随着大模型应用日益深入各行各业，类似DSpark这样专注于“最后一公里”部署效率的工具，其价值正愈发凸显。它不仅关乎用户体验，也直接关系到服务商的运营成本和规模化能力。此次开源，或许将为整个行业的高效推理解决方案树立一个新的参考基准。