10万亿参数模型启动,字节跳动打响AI军备竞赛关键一役

近日,英国《金融时报》援引知情人士消息称,字节跳动已经悄然启动了一款参数规模极其庞大的大语言模型预训练项目。这款新模型的上限参数规模,被设定在惊人的10万亿级别。

规模直追全球顶尖水平

目前,项目仍处于早期预训练阶段,最终规模尚未完全敲定。但仅就10万亿这个潜在上限而言,它已经释放出强烈的信号。这一数字不仅将远超国内已知的其他大模型,更重要的是,它直接将竞争标尺拉到了全球最前沿。

根据行业估算,美国AI公司Anthropic的旗舰模型参数量可能在8万亿左右。这意味着,字节跳动的新模型如果成功达到目标,至少在参数规模上,已经与美国顶级闭源模型站在了同一量级。

一场需要耐心的豪赌

参数规模只是故事的一部分。《金融时报》指出,模型的预训练阶段通常需要3到6个月,之后还需经过漫长的后训练与优化,最终表现才能得到检验。更大的参数不等于更强的能力,最终的模型智能水平,高度依赖于模型架构设计、训练数据的质量与多样性,以及训练方法的精妙程度。

此次激进的技术投入,与字节跳动创始人张一鸣近期的内部表态紧密相关。据报道,张一鸣明确反对团队采用“蒸馏”竞争对手模型的捷径,要求团队接受短期可能落后的现实,坚定不移地走自主研发道路,目标直指世界第一梯队。

战略转型背后的深远意义

这款最高10万亿参数的模型,无疑是字节跳动在AI领域迄今为止最大胆的一次规模下注。它不再是对市场现有产品的快速跟进,而是一次旨在实现底层技术突破的战略冲锋。这标志着中国科技巨头在全球AI核心技术竞赛中的角色,正从积极的参与者,转变为更具野心的挑战者。

这场竞赛的结果,将不仅取决于算力和数据的堆砌,更取决于长期主义的耐心、原创性研究的深度,以及将庞大参数有效转化为实际智能的能力。字节跳动的这次豪赌,为中国大模型的发展路径提供了一个全新的注脚。