9月2日,通义千问宣布开源其第二代视觉语言模型Qwen2-VL,并在阿里云百炼平台上推出2B、7B两个尺寸及其量化版本模型的API,供用户直接调用。
Qwen2-VL模型在多个方面实现了性能的全面提升。它能够理解不同分辨率和不同长宽比的图片,在DocVQA、RealWorldQA、MTVQA等基准测试中创下全球领先的表现。此外,该模型还能理解20分钟以上的长视频,支持基于视频的问答、对话和内容创作等应用。Qwen2-VL还具备强大的视觉智能体能力,能够自主操作手机和机器人,进行复杂推理和决策。
该模型能够理解图像视频中的多语言文本,包括中文、英文、大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。通义千问团队从六个方面评估了模型的能力,包括综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景问答、视频理解、Agent能力。
Qwen2-VL-72B作为旗舰模型,在大部分指标上都达到了最优。Qwen2-VL-7B以其经济型参数规模实现了极具竞争力的性能表现,而Qwen2-VL-2B则支持移动端的丰富应用,具备完整的图像视频多语言理解能力。
在模型架构方面,Qwen2-VL延续了ViT加Qwen2的串联结构,三个尺寸的模型都采用了600M规模大小的ViT,支持图像和视频统一输入。为了提升模型对视觉信息的感知和视频理解能力,团队在架构上进行了升级,包括实现对原生动态分辨率的全面支持和使用多模态旋转位置嵌入(M-ROPE)方法。
阿里云百炼平台提供了Qwen2-VL-72B的API,用户可以直接调用。同时,Qwen2-VL-2B和Qwen2-VL-7B的开源代码已集成到Hugging Face Transformers、vLLM和其他第三方框架中,开发者可以通过这些平台下载和使用模型。
[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。