孟子3-13B大模型正式开源

来源:互联网· 2024-04-01 15:59:46

澜舟科技近日宣布,其研发的孟子3-13B大模型正式开源,并向学术研究领域全面开放,同时支持免费商用。这一轻量化大模型在多项基准测试中展现了优异的性能,特别是在参数量20B以内的模型中,其中英文语言能力尤为突出,数学和编程能力也位于行业前列。

孟子3-13B大模型基于Llama架构,经过高达3T Tokens的数据集训练,该数据集包括网页、百科、社交、媒体、新闻以及高质量的开源数据集。模型在万亿tokens上进行了多语言语料的继续训练,使其中文能力得到显著提升,同时也具备了强大的多语言处理能力。

image.png

项目地址:https://github.com/Langboat/Mengzi3

为了便于用户快速部署和使用,澜舟科技提供了简单的两步操作。首先,用户需要进行环境配置,通过pip命令安装必要的依赖。随后,用户可以通过提供的代码快速开始使用模型,进行基础的交互推理。此外,澜舟科技还提供了样例代码和模型微调的相关文件和代码,以便用户根据自己的需求进行定制和优化。

澜舟科技的选择背后有着明确的商业考量。公司专注于服务ToB场景,并在实践中发现,ToB场景中使用频率最高的大模型参数量集中在10B-100B之间。从投资回报率角度出发,这一参数规模范围的模型既能满足场景需求,又具有高性价比。因此,澜舟科技致力于在这一参数规模范围内打造优质的行业大模型。

孟子3-13B大模型的开源,是澜舟科技在大模型领域的又一重要里程碑。去年3月,澜舟科技发布了孟子GPT V1(MChat),今年1月,孟子大模型GPT V2对公众开放。现在,感兴趣的用户可以通过GitHub、HuggingFace、ModelScope和Wisemodel等平台体验和使用孟子3-13B大模型。

随着孟子3-13B大模型的开源,澜舟科技进一步巩固了其在AI大模型行业的领先地位,并为学术研究和商业应用提供了强大的支持。这一举措无疑将推动大模型技术的发展和应用,为AI产业的进步贡献力量。


您可能关注: 大模型

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。