框架

HaiSnap

一个适合小白用户快速开发简单应用的零代码开发平台。用户只需描述需求,即可生成应用并直接通过网页访问,无需部署。

SearchAgent

SearchAgent-X是由南开大学和伊利诺伊大学厄巴纳香槟分校(UIUC)研究人员开发的高效推理框架,旨在提升基于大型语言模型(LLM)的搜索Agent效率。通过高召回率的近似检索、优先级感知调度和无停顿检索等技术,显著提高系统吞吐量(1.3至3.4倍),降低延迟(降至原来的1/1.7至1/5),同时保持生成质量。该框架优化资源利用率,适用于智能客服、搜索引擎、企业知识管理等多种场景,为复杂A

Promptic

Promptic 是一款基于 Python 的轻量级 LLM 应用开发框架,提供类型安全的输出验证、流式响应支持、对话记忆管理及错误处理等特性。它通过集成 LiteLLM 和装饰器模式,帮助开发者快速构建稳定高效的 LLM 应用,同时支持多种主流 LLM 服务提供商的无缝切换。主要功能包括动态提示生成、响应验证、状态管理和工具函数代理构建,广泛应用于聊天机器人、内容生成、语言翻译、情感分析和数据摘

iAgents

iAgents是一款由清华大学研发的多AI智能体协作框架,专注于通过个性化AI智能体协助用户完成复杂任务。它利用infoNav推理机制优化信息交换,支持多轮对话与任务解决,同时具备混合记忆机制(清晰记忆与模糊记忆)用于高效信息检索。iAgents广泛应用于会议协调、项目管理、客户服务等领域,显著提升了团队协作效率。

BALROG

BALROG是一款用于评估大型语言模型(LLMs)和视觉语言模型(VLMs)在游戏环境中推理能力的框架。它通过程序化生成的游戏环境,测试模型的规划、空间推理及探索能力,并提供细粒度的性能指标和公开排行榜,以促进AI技术的发展,适用于游戏AI开发、机器人技术、虚拟现实等多个领域。

LitServe

LitServe是一款基于FastAPI的高性能AI模型部署引擎,专为企业级AI服务设计。它支持批处理、流式处理和GPU自动扩展,简化了模型部署流程。LitServe易于安装和使用,提供灵活的API定义和强大的服务器控制能力。它兼容多种机器学习框架,具备自动扩展和身份验证等高级特性,适用于机器学习模型部署、大语言模型服务、视觉模型推理、音频和语音处理及自然语言处理等多个领域。

Awesome Chinese LLM

整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架,提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型,并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench,分别通过精简数据集降低评估成本并动态更新评估数据集,以确保模型泛化能力的有效评估。

EvoAgentX

EvoAgentX 是一个开源的 AI Agent 自进化框架,通过进化算法实现多 Agent 系统的自动化生成与优化。它能根据目标描述自动生成工作流,并通过迭代优化提升性能。框架采用模块化设计,包含工作流生成器、Agent 管理器、执行器、评估器和优化器等核心组件,支持多种 LLM 模型,用户可通过自然语言提示轻松定制 Agent 和工作流。同时提供可视化工具和多环境支持,适用于复杂系统模拟、自