框架

Airtest

​Airtest AI是一个强大的旨在实现跨台的移动应用程序测试的自动化开源框架。它为开发人员提供了一套全面的工具和功能,以简化测试过程并确保其应用程序的可靠性和性能。

Phantom

Phantom是由字节跳动研发的视频生成框架,支持从参考图像中提取主体并生成符合文本描述的视频内容。它采用跨模态对齐技术,结合文本和图像提示,实现高质量、主体一致的视频生成。支持多主体交互、身份保留等功能,适用于虚拟试穿、数字人生成、广告制作等多种场景。模型基于文本-图像-视频三元组数据训练,具备强大的跨模态理解和生成能力。

Eliza

Eliza是一个基于TypeScript的开源多代理模拟框架,专为创建、部署和管理自主AI代理而设计。其主要功能涵盖多代理架构支持、角色文件框架、检索增强生成系统(RAG)、跨平台集成以及高度可扩展性。Eliza适用于聊天机器人、业务流程自动化、自主代理及游戏NPC等多种应用场景。

AutoGen

微软开发的一个开源框架,用于构建和管理基于LLM的多代理系统。它允许用户创建多个Agent,这些代理可以通过对话协作完成复杂的任务。

Eko

Eko是一款由Fellou AI开发的JavaScript框架,基于自然语言处理技术,支持开发者创建从简单指令到复杂流程的智能代理。它具备跨平台兼容性、任务分解与调度能力,以及高度可干预性,适用于自动化测试、数据采集、系统管理等多种场景。其API设计简洁,文档完善,有助于提升开发效率和任务处理能力。

Miras

Miras是由谷歌开发的深度学习框架,专注于序列建模任务。它基于关联记忆和注意力偏差机制,整合多种序列模型并支持新型模型设计。Miras通过保留门机制优化记忆管理,提升模型在长序列任务中的表现,适用于语言建模、常识推理、长文本处理及多模态任务,具有高效且灵活的架构优势。

Computer Use OOTB

Computer Use OOTB 是一款基于开源框架的 GUI 自动化工具,支持跨平台操作与远程控制,借助 Claude 3.5 Computer Use API 实现从用户指令到桌面操作的端到端自动化。其核心技术包括实时视觉信息处理、历史上下文维护及动态反馈机制,适用于远程办公、自动化测试、教育培训、家庭自动化及游戏辅助等多种场景。

AgentGen

AgentGen是一款由香港大学与微软联合研发的AI项目框架,旨在通过自动生成多样化环境和任务,显著提升大语言模型(LLM)的规划能力。其核心技术包括环境生成、任务生成和动态难度调节,支持零样本生成和指令微调,适用于机器人控制、智能家居等多个领域。