什么?一个人就能训练大模型,指标还能硬刚K3V4?
训练一个参数规模达5000亿的大模型,通常需要多少人?AI领域普遍认为,至少需要数十人,大型企业往往投入数百人。然而,硅谷初创公司Mirendil却将这一数字压缩到了极致——仅需一人。就在近日,Mirendil在官网发布了一篇文章,标题颇为惊人:《无需预训练团队的大规模预训练》。文章标题下方列出了三个数字:一名研究员、三个半月、成本不到1000万美元。这些费用涵盖了Agent的token消耗、数据处理及所有研究实验成本。凭借这些投入,他们成功训练出了千亿参数模型:Mirendil-Base,一个参数范围在1000亿到5000亿之间的编码专用基座模型。Mirendil在文章中声称,新模型中超过99%的代码并非人类编写,而是由Agent生成。人类研究员只需负责确定方向、做出判断,并在关键节点进行干预。代码编写、实验运行、错误排查等任务,全部交由Agent处理。在Mirendil的测试中,新模型的部分指标已接近Kimi K3、GLM-5.3、DeepSeek-V4等主流一线模型。“单人手工打造基座模型”的时代,真的即将来临……吗?
01
根据官方说明,Mirendil-Base是Mirendil系列模型的首发产品,定位为编码专用基座模型,目标用户是前沿AI实验室内部的研究员和工程师。为验证一人能否独立完成模型开发,Mirendil设置了多项苛刻条件,例如不得使用现成的预训练框架,也不能继承现有代码。研究员和Agent从零开始,在100多天内构建了所有内容——训练基础设施、模型架构、训练算法、数据管道,全部自行编写,仅在PyTorch、JAX等通用库基础上,参考了一些热门开源项目作为模板。当然,这里的“自行”通常指Agent。研究员主要负责决定尝试什么、信任什么,并在必要时进行干预。代码编写、实验运行、错误诊断等具体操作,基本由Agent自主完成。数据方面,Mirendil全部使用公开数据,如GitHub开源代码、公开网页、公开数据集等。公司强调,训练过程中未购买任何数据,未进行蒸馏,也未使用合成数据。此外,Mirendil通过改进设计提升效率。“我们通过改进的架构、数据混合的高级调优、其他数据层面的改进以及kernel优化,获得了显著的效率提升。”公告中写道。最终成品为Mirendil-Base,参数规模在1000亿至5000亿之间。一人开发的千亿参数模型,性能究竟如何?Mirendil选取了五款模型进行对比,分别是Kimi K3、GLM-5.3、Nemotron-550B-Base、DeepSeek-V4-Pro-Base和Inkling,均为MoE架构的大参数模型。在新代码仓库的交叉熵测试(模型预测代码编写方式,分数越低表示预测越准)中,各模型表现如下:Kimi K3排名第一,得分为0.193;Mirendil-Base排名第二,得分为0.222;随后依次是GLM-5.3、DeepSeek-V4、Nemotron。换句话说,在部分编码维度上,一人与Agent合作训练的预训练模型,已能与头部大厂的成品模型竞争。然而,必须指出的是,基座模型在交叉熵测试中通常优于后训练模型。Mirendil-Base作为基座模型,分数却高于后训练的Kimi K3,这表明Kimi K3的实际实力远超表面分数,Mirendil-Base与其差距比看起来更大。根据官方介绍,Mirendil-Base之上还有两档:Large在5000亿到2万亿之间,XL直接达到2万亿到10万亿。目前,Large已训练80%,XL仅完成19%,但其分数已接近Large当前水平。这意味着,在资金和Agent的助力下,一人训练万亿模型并非梦想——这是许多AI大厂尚未触及的门槛。
02
千亿乃至万亿参数大模型的预训练,极其耗费资金和时间,且需要大量人力。数百名研究员中,一部分研究模型架构和扩展方法;一部分管理数万亿token的清洗与配比;还有一部分维护数千甚至数十万张算力卡,确保训练不间断。AI大厂能够聚集足够人才,但资金和算力成本压力依然巨大。整个行业一直在探索降本方法,核心思路是:让AI来训练AI。例如,Anthropic已在这方面取得进展。此前披露,今年5月,其代码库中超过80%的合并代码由Claude编写。谷歌也在进行类似尝试:AI编程智能体AlphaEvolve已被用于优化数据中心调度、芯片设计和AI训练流程。但“AI训练AI”这条路,目前只有大厂能够驾驭。科学家、研究员、小团队等,若想自行训练模型,以前几乎不可能。然而,Mirendil-Base证明,在一定条件下,一人也能“手工打造”模型。Mirendil在官网文章中表示,直到不久前,预训练一个有竞争力模型的瓶颈还是人力:一支需要多年才能组建的专家团队。如今,这一局面正在改变。过去只有大型研究机构才能完成的任务,现在一名研究员即可实现。当Agent承担大部分动手工作时,瓶颈转移到了算力、数据以及指挥Agent的那个人的判断力上。“人人都能训练模型”,蕴含着巨大的想象空间。以前,大多数人和公司若需专属模型,往往租用通用模型并做边缘适配。现在,一支芯片设计团队、一个机器人实验室或一家医院,都可以用自己的数据、针对自身问题训练模型。基座模型及其构建的系统,将不再是少数大厂的专利,而会变得更加普及。另一方面,过去需要大型团队才能启动的AI项目,现在可以从一个小团队甚至一人起步;随着算力越来越便宜、越来越强大,更多人能够尝试这些项目。“一人公司”或“超级个体”有望成为现实。人们的工作方式也将改变:随着越来越多的工作被交给Agent,人类日常工作将越来越不像“亲手做事情”,而更像“带领一个小型实验室”:设定研究方向、设计值得运行的实验、判断哪些想法值得继续推进。Mirendil描绘了更炫目的前景:下一个模型将部分由Mirendil自己的模型构建,而每一个在构建AI方面变得更强的模型,都会让下一个模型的构建更便宜、更快速。“我们认为,尚未达到完全自主的RSI,但已比以往更接近了。”公司称。此外,公司已开始对Mirendil-Base进行后训练。Mirendil-Base-Large以及达到前沿水平的Mirendil-Base-XL仍在训练中。
03
Mirendil的背后,是两位Anthropic前员工:Behnam Neyshabur和Harsh Mehta。Neyshabur是80后,出生于伊朗,读大学后于2011年前往美国,在丰田工业大学芝加哥分校获得博士学位。毕业后,他在谷歌DeepMind工作了5年,2024年底加入Anthropic,领导Discovery团队,专注于研究如何让AI像科学家一样参与研发。Mehta是印度裔,毕业于印度理工学院古瓦哈提分校,在DeepMind时与Neyshabur是同事。加入Anthropic后,Mehta搭建了Anthropic内部自动化AI研究平台的第一个版本。2025年12月,两人先后离职,成立了Mirendil,公司定位是让AI帮助科学家打造自己的AI,而非仅直接用AI辅助科学。换句话说,他们希望让科研团队能够自行训练、迭代专属AI模型,不再依赖大厂的通用模型。背后的技术路线,正是近期AI圈热议的RSI。今年6月,Mirendil官宣了2亿美元种子轮融资,投后估值10亿美元。投资方包括a16z、凯鹏华盈、英伟达等。团队目前约20人,均来自Anthropic、xAI、Google DeepMind、OpenAI的研究员和工程师,在旧金山市中心办公。Mirendil-Base的亮相,标志着公司跨过了第一个里程碑。但话说回来,“单人训练千亿参数模型”听起来美好,门槛并未显著降低。1000万美元的成本,对大厂而言不算什么,刚刚获得融资的Mirendil也还能承担。但对于绝大多数个人和小团队来说,这仍是天文数字。更不用说,能指挥Agent完成如此巨大工程,并非随便一位工程师就能胜任。Mirendil的人才质量之高、AI项目经验之丰富,在整个硅谷都处于第一梯队。“一人手工打造大模型”的时代确实在接近,但离普通人还很远。Mirendil-Base的发布,是这条漫长道路的第一块路标。至于它能否真正降低大模型的门槛,还需看后续更大规模模型的实际水平,以及这套方法论能否复制到他人身上。本文来自微信公众号“字母AI”,作者:彦飞,编辑:王靖,36氪经授权发布。爱游戏官方网站入口