360公司自主研发的7B参数大模型——360智脑,现已正式上线开源社区,并提供了基础模型以及4K、32K、360K三种不同文本长度的版本。
这一大模型在支持文本长度方面表现出色,最长可处理360K长文本,相当于约50万字的输入内容。令人惊叹的是,仅需3秒钟,它便能读完整部《三体》。
目前,在开源模型领域,360智脑7B无疑是支持文本长度最长的大模型之一。
为了方便开发者使用,360智脑7B大模型不仅提供了全套的微调训练代码和推理代码工具集,而且实现了开箱即用。这一举措极大地简化了开发流程,让行业无需再为处理长文本而犯愁。
在性能评估方面,360智脑7B大模型同样表现出色。通过OpenCompass与国内外同参数模型进行对比,其综合能力排名前三。在C-Eval、MMLU、HellaSwag、LAMBADA等多项能力测试中,360智脑7B均获得了第一的成绩,显示出强大的中英文知识和推理理解能力。即便是面对“弱智吧”贴吧的“刁难”,它也能从容不迫地作出清晰应答。
在LongBench评测中,360智脑7B大模型的长文本处理能力同样令人瞩目。在同等参数模型的测评中,它成功拿下最高分。同时,在中英文360K大海捞针效果测试中,也取得了超过98%的高分。这一成绩的背后,得益于360智脑7B采用的无损压缩技术,它摒弃了传统的滑动窗口attention、跳跃attetion等有损压缩路线,实现了超长文本的无损处理
项目地址:https://github.com/Qihoo360/360zhinao
[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。