腾讯混元Hy4预览版开源：规模与能力的双重飞跃

腾讯近日正式对外开源了混元大模型系列的最新预览版本——Hy4。这一版本在模型架构与核心能力上实现了显著突破，标志着国产大模型向超大规模与实用化方向又迈出了关键一步。

架构与规模：参数与上下文长度的指数级增长

Hy4采用了混合专家（MoE）架构。具体来看，其总参数规模达到了惊人的7700亿，而每次推理激活的参数约为490亿。更引人注目的是，模型的上下文处理长度从上一代的256K大幅扩展至100万（1M）。这意味着Hy4能够一次性消化和处理远超以往的海量信息，为处理长文档、复杂代码库和多轮深度对话提供了坚实的技术基础。

  • 总参数：7700亿（770B）
  • 激活参数：约490亿（49B）
  • 上下文长度：100万令牌（1M）

与Hy3相比，Hy4不仅在总参数规模上翻了两倍多，其长文本处理能力也提升了约四倍，为应对更复杂的现实任务扫清了障碍。

面向真实场景：从“刷分”到“实干”的转变

腾讯此次并未将宣传重点局限于通用基准测试分数，而是着重展示了Hy4在多项高难度实际任务中的表现。模型的能力边界已经扩展到需要深度理解与创造性的领域。

例如，Hy4可以仅凭自然语言指令，从零开始构建一个基于Three.js的交互式3D网站。在游戏开发场景中，它能够在Unity引擎内编写出一个具备可玩性的游戏Demo。在办公场景下，模型可一次性分析处理多达72份财务文档，自动检查其中的重复报销项、费用额度超限问题以及预算异常情况，展现出强大的多文档理解与逻辑推理能力。

这种以实用为导向的能力提升，部分得益于Hy4与腾讯内部产品如WorkBuddy（办公助手）、CodeBuddy（编程助手）的协同训练与迭代。模型在真实产品反馈中持续学习优化，使其能力更贴合用户的实际工作流。

研发模式的进化：初现“自我改进”循环

Hy4项目最独特的亮点之一，在于模型已开始以某种形式参与自身的研发过程。据腾讯透露，Hy4被用于辅助优化模型的训练方法、数据策略、评测体系乃至底层计算算子。

具体流程是，模型会自主提出优化方案、运行模拟实验，并根据实验结果进行策略调整。这些实验过程中产生的代码、日志和反馈数据，又会汇入下一轮的研发数据池中，从而形成了一个初步的“自我改进”闭环。这为大模型研发自动化开启了新的想象空间。

生态与接入

目前，Hy4预览版已接入腾讯内部多个核心产品与平台，包括WorkBuddy、CodeBuddy、元宝、腾讯云TokenHub以及第三方平台OpenRouter等，供开发者和合作伙伴体验与集成。腾讯此前已在财报中预告Hy4将具备更大规模，并强调真实世界中的产品反馈是其模型训练不可或缺的一环。