6月14日下午消息,今日举办的2024智源大会上,百川智能CEO王小川、智谱AI CEO张鹏、月之暗面CEO杨植麟、面壁智能联合创始人、CEO李大海共同出席《尖峰对话:通往AGI之路》环节。
对话中,在谈及OpenAI新模型GPT-4.5、GPT-5.0传了多次也没发布,是否意味着Scaling Law已经出现边界效应时,智谱AI CEO张鹏表示,这里面可能的因素会非常多,人工智能技术的发展,不是简单的追求参数量上去就行的。
“就拿我们自己来说这个事情的话,其实我们自己也在选择一个道路,不断地去遵循ScalingLaw往前前进。”张鹏表示,他结合自己最开始做悟道时的情况表示,当时也考虑是去做稠密的单体模型,还是去做一个MOE的稀疏多体模型,其实这就是当时我们认为去满足Scaling law,或者去追寻Scaling law的不同路径。但发展到今天这个地步的时候,你会发现其实这里边维度已经非常多,你可以在很多方面去做这样的一个事情。
“你会发现其实这个难度、复杂度又上升了,不是简单的说追求参数量上去就行的,所以我理解想要实现比如说GPT-5.0或者再下一代的模型,这里边技术的可能性、探索的内容还是非常多的。”张鹏表示。
[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。