Google AI 最近提出了 ScreenAI，这是一个视觉语言模型，旨在全面理解用户界面（UI）和信息图。UI 和信息图在现代数字世界中共享设计概念和视觉语言，但由于每个领域的复杂性，创建一个统一的模型变得更加困难。为了解决这个问题，Google AI 团队提出了 ScreenAI 作为解决方案。

ScreenAI 具有处理图形问答（QA）等任务的能力，这些任务可能涉及图表、图片、地图等元素。该模型结合了来自 Pix2struct 的灵活 patching 方法和 PaLI 架构，使其能够将视觉相关任务转化为文本或图像到文本问题。

团队进行了多项测试，展示了这些设计决策如何影响模型的功能。经评估，ScreenAI 在诸如 Multipage DocVQA、WebSRC、MoTIF 和 Widget Captioning 等任务上取得了新的最先进结果，参数数量不到50亿。在诸如 DocVQA、信息图 QA 和图表 QA 等任务上表现出色，优于同等规模模型。

团队发布了三个新数据集:Screen Annotation、ScreenQA Short 和 Complex ScreenQA。其中一个数据集专注于未来研究的屏幕注释任务，另外两个数据集则专注于问答，进一步扩展了可用资源，以推动该领域的发展。

ScreenAI 是朝着综合解决信息图和用户界面理解问题的一步。通过利用这些组件的共同视觉语言和复杂设计，ScreenAI 为理解数字内容提供了全面的方法。

论文地址:https://arxiv.org/abs/2402.04615