GUI

AutoDroid

AutoDroid-V2是由清华大学人工智能产业研究院开发的基于小型语言模型(SLM)的移动端GUI自动化工具,支持多步脚本生成与执行,提升任务完成效率并减少对云端模型的依赖。其核心功能包括自动化UI操作、代码生成与执行、应用文档生成,适用于日常辅助、办公、测试、智能家居及医疗等多个场景,具有较高的实用性和技术前瞻性。

Animate Anyone

Animate Anyone是一款由阿里巴巴智能计算研究院开发的开源框架,旨在将静态图像中的角色或人物动态化。它采用扩散模型,结合ReferenceNet、Pose Guider姿态引导器和时序生成模块等技术,确保输出的动态视频具有高度一致性和稳定性。该框架支持多种应用,包括角色动态化、时尚视频合成及人类舞蹈生成,用户可通过GitHub或Hugging Face社区轻松体验。

AgentCPM

AgentCPM-GUI是由清华大学与面壁智能团队联合开发的开源端侧GUI代理系统,专为中文应用场景优化。基于MiniCPM-V模型,支持通过截图输入并自主执行用户指令,具备高精度GUI元素识别与OCR能力。采用强化微调和紧凑动作空间设计,提升任务执行效率与移动端适配性。适用于智能助手、自动化测试、老年人辅助及企业应用等领域。

ShowUI

ShowUI是一款由新加坡国立大学Show Lab与微软合作开发的视觉-语言-行动模型,旨在提升图形用户界面(GUI)助手的工作效率。该模型通过UI引导的视觉令牌选择、交错视觉-语言-行动流以及高质量数据集的运用,实现了高效的零样本截图定位和GUI自动化功能,广泛应用于网页自动化、移动应用测试、桌面软件自动化及游戏自动化等领域。

EvalsOne Ai

一个功能强大而简单易用的一站式评估平台,EvalsOne Ai用于迭代优化生成式AI的应用程序。它可以帮助克服AI生成中的不确定性,简化工作流程,增强团队信心,确保

Eko

Eko是一款由Fellou AI开发的JavaScript框架,基于自然语言处理技术,支持开发者创建从简单指令到复杂流程的智能代理。它具备跨平台兼容性、任务分解与调度能力,以及高度可干预性,适用于自动化测试、数据采集、系统管理等多种场景。其API设计简洁,文档完善,有助于提升开发效率和任务处理能力。

CogAgent

CogAgent是一款由清华大学与智谱AI联合开发的多模态视觉大模型,专注于图形用户界面(GUI)的理解与导航。它具备视觉问答、视觉定位、GUI Agent、高分辨率图像处理及多模态能力,可应用于自动化测试、智能交互、多模态人工智能应用开发、企业级AI Agent平台等多个领域。CogAgent在多个基准测试中表现出色,尤其在GUI操作数据集上显著超越现有模型。

Computer Use OOTB

Computer Use OOTB 是一款基于开源框架的 GUI 自动化工具,支持跨平台操作与远程控制,借助 Claude 3.5 Computer Use API 实现从用户指令到桌面操作的端到端自动化。其核心技术包括实时视觉信息处理、历史上下文维护及动态反馈机制,适用于远程办公、自动化测试、教育培训、家庭自动化及游戏辅助等多种场景。

豆包1.5·UI

豆包1.5·UI-TARS是字节跳动推出的一款面向图形用户界面(GUI)的智能代理模型,具备视觉理解、逻辑推理和操作执行能力。它无需预定义规则,即可实现端到端的GUI任务自动化,适用于办公、测试、客服及机器人交互等多个场景。模型基于多模态融合与端到端学习技术,支持高效的界面交互与精准的视觉定位。