智谱AI视频生成模型CogVideoX v1.5开源 支持5/10秒视频生成

来源:AIbase基地· 2024-11-11 08:52:11

北京智谱华章科技有限公司宣布,其旗下的CogVideoX系列模型推出了最新版本——CogVideoX v1.5,并已对外开源。自8月初发布以来,该系列模型凭借其行业领先的技术和深受开发者喜爱的特性,已经成为视频生成领域的佼佼者。新版本CogVideoX v1.5在原有基础上进行了显著升级,包括增强了视频生成能力,现在支持5/10秒、768P、16帧的视频生成,并且I2V模型能够支持任意尺寸比例,大幅提升了图生视频的质量和复杂语义理解。

微信截图_20241108145545.png

此次开源的内容包括两个模型:CogVideoX v1.5-5B和CogVideoX v1.5-5B-I2V。新版本也将同步上线到清影平台,并与新推出的CogSound音效模型结合,提供质量提升、超高清分辨率支持、可变比例适应不同播放场景、多通道输出以及带声效的AI视频等特色服务。

在技术层面,CogVideoX v1.5通过自动化筛选框架过滤了缺乏动态连通性的视频数据,并采用端到端的视频理解模型CogVLM2-caption生成精准的视频内容描述,提升了文本理解和指令遵循能力。此外,新版本采用了高效的三维变分自编码器(3D VAE)解决内容连贯性问题,并自主研发了融合文本、时间和空间三维度的Transformer架构,取消了传统的跨注意力模块,通过专家自适应层归一化技术优化了扩散模型中时间步信息的利用。

训练方面,CogVideoX v1.5构建了一个高效的扩散模型训练框架,通过多种并行计算和时间优化技术,实现了对长视频序列的快速训练。公司表示,他们已验证了scaling law在视频生成领域的有效性,并计划在未来扩大数据量和模型规模,探索创新模型架构,以更高效地压缩视频信息,并更好地融合文本与视频内容。


您可能关注: 智谱AI AI视频 大模型

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。