2.7万亿参数：史上最大国产AI模型曝光

据两名了解该项目规划的知情人士透露，人工智能企业MiniMax正在研发一款参数量达 2.7 万亿的全新大语言模型，规模超过目前市面上所有国产人工智能大模型。这一数字不仅刷新了国内大模型的参数纪录，在全球范围内也属于第一梯队。作为对比，OpenAI的GPT-4据传参数规模约为1.8万亿，而Meta的Llama 3.1最大版本为4050亿参数。MiniMax此次的2.7万亿参数规划，几乎是其现有旗舰模型的6倍多，显示出这家公司在大规模预训练技术上的激进投入与野心。

代号M3 Pro：最早Q3发布，将开源

知情人士称，这款新模型最早有望于今年第三季度发布。参与研发的内部员工将其内部代号定为M3 Pro，但暂不清楚公司正式对外发布时是否会沿用该名称，MiniMax计划将该模型开源。若消息属实，这将成为全球范围内最大的开源大模型，对AI开源社区和产业生态将产生深远影响。开源策略一方面有助于吸引全球开发者围绕模型构建应用生态，另一方面也能通过社区反馈加速模型迭代，形成良性循环。此前MiniMax的M1、M2等模型均采用开源与闭源结合的方式，而M3 Pro选择完全开源，或标志着公司在技术路线上的重要转变。

超大参数意味着什么？

这款新模型的体量远大于MiniMax当前的旗舰大模型 M3（4280 亿参数）。更大规模的人工智能模型更擅长处理复杂推理、多步骤指令类任务。2.7万亿参数意味着模型拥有更强的记忆容量、更精细的模式识别能力，以及在数学、代码生成、科学推理等高端场景中更接近人类专家的表现。然而，超大参数也带来了严峻挑战：训练所需的算力集群规模、数据质量与数量、分布式并行策略、能耗成本以及推理时的延迟和部署成本，都是必须跨越的门槛。业内专家估算，训练一个2.7万亿参数的模型，即使采用高效的MoE（混合专家）架构，也需要数千张最新款AI加速卡连续运行数月，耗资可能高达数亿美元。MiniMax敢于在此节点押注如此庞大的规模，一方面反映了其自研训练框架和基础设施的成熟度，另一方面也说明资本和市场对下一代AI能力的强烈期待。若M3 Pro如期发布并开源，将极大推动国产大模型在全球技术竞争中的地位，并可能引发新一轮的算力基础设施投资热潮。