ScreenAI: 谷歌推出 UI 视觉理解模型

谷歌研发的 ScreenAI 模型，通过视觉语言技术，实现对用户界面和信息图表的深度理解和交互，推动人机交互新高度。主要功能特点如下：

1. 问答：根据屏幕中显示内容回答问题。
2. 屏幕导航：将自然语言话语转换为可执行动作（例如：点击搜索框）。
3. 屏幕总结：总结了屏幕中展示的内容。

目前还没有可用代码，仍然是一个研究项目

博客：https://research.google/blog/screenai-a-visual-language-model-for-ui-and-visually-situated-language-understanding/
论文：https://arxiv.org/abs/2402.04615