智谱AI推出了新一代视频生成模型CogVideoX,标志着公司在多模态技术发展上的又一重要进展。
CogVideoX的核心技术特点包括:
三维变分自编码器结构(3D VAE):智谱AI自主研发的这一结构能将原始视频数据压缩至原始大小的2%,降低训练成本和难度。结合3D RoPE位置编码模块,提升了时间维度上帧间关系的捕捉能力,建立视频中的长期依赖关系。
端到端视频理解模型:增强了模型对文本的理解和对指令的遵循能力,确保生成的视频更符合用户需求,能处理超长且复杂的prompt指令。
文本、时间、空间三维一体融合的transformer架构:创新性设计了Expert Block实现文本与视频模态空间的对齐,并通过Full Attention机制优化模态间交互效果。
CogVideoX模型已在智谱清言的PC端、移动应用端及小程序端上线,用户可通过「清影」(Ying)功能免费体验AI文本生成视频和图像生成视频的服务。清影的主要特点包括快速生成、高效的指令遵循能力、内容连贯性和画面调度灵活性。
此外,智谱大模型开放平台bigmodel.cn也部署了「清影」,企业和开发者可通过API调用方式使用其功能。智谱AI验证了Scaling Law在视频生成领域的有效性,并将持续扩大数据规模和模型规模,研究新型模型架构,以更高效地压缩视频信息,更全面地融合文本与视频内容。
[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。