多模态

1. 首页
2. 多模态

OpenEMMA

OpenEMMA是一个开源的端到端自动驾驶多模态模型框架，基于预训练的多模态大型语言模型（MLLMs），能够处理视觉数据和复杂驾驶场景的推理任务。它通过链式思维推理机制提升轨迹规划和感知任务性能，并集成了优化的YOLO模型以提高3D边界框预测的准确性。此外，OpenEMMA支持人类可读的输出，适用于多种驾驶环境，包括城市道路、高速公路、夜间及复杂天气条件下的驾驶。

AI项目与工具 2025年06月12日 36 点赞 0 评论 577 浏览

LAM

LAM是由微软开发的大型行动模型，能够理解和执行真实世界中的操作任务。它不仅能解析用户输入，还能生成具体行动指令，如启动程序或控制设备。LAM在Office等Windows应用中表现出色，任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力，适用于办公自动化、智能家居、客户服务等多个场景，显著提升任务执行效率和智能化水平。

AI项目与工具 2025年06月12日 26 点赞 0 评论 576 浏览

HealthGPT

HealthGPT是由多家高校与企业联合开发的医学视觉语言模型，支持医学图像分析、视觉问答、文本生成及多模态融合等任务。其核心技术包括异构低秩适应（H-LoRA）、分层视觉感知（HVP）和三阶段学习策略（TLS），可高效处理复杂医疗数据。模型适用于医学诊断、教育、研究及健康管理等多个场景，具有良好的适应性和实用性。

AI项目与工具 2025年06月12日 80 点赞 0 评论 575 浏览

腾讯混元Turbo S

腾讯混元Turbo S是腾讯推出的高效AI模型，采用Hybrid-Mamba-Transformer架构，提升推理效率并降低计算成本。支持快速响应、多领域推理、内容创作及多模态生成，适用于对话、代码、逻辑推理等场景。兼具短思维链与长思维链能力，性能对标行业领先模型。

AI项目与工具 2025年06月12日 86 点赞 0 评论 575 浏览

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架，支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术，提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制，增强视觉信息处理能力，适用于个性化推荐、冷启动优化及内容创作辅助等场景。

AI项目与工具 2025年06月11日 84 点赞 0 评论 574 浏览

智谱AutoGLM Web

基于智谱开发的AutoGLM，是由智谱AI团队开发的先进AI智能体，它专为模拟人类操作手机和网页而设计，能够理解屏幕界面信息。

GPTs应用 2025年06月05日 21 点赞 0 评论 573 浏览

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作（VLA）模型，专为机器人操控设计。它通过结合多模态模型和扩散策略解码器，实现了快速推理、数据高效和多任务学习的能力，并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域，具有广泛的实用价值。

AI项目与工具 2025年06月12日 91 点赞 0 评论 573 浏览

Augmented Physics

Augmented Physics是一款基于人工智能的教育工具，旨在通过计算机视觉技术和多模态语言模型，将物理教科书中的静态图表转化为动态交互式模拟，帮助学生更好地理解物理概念。它支持多种仿真类型，包括光学、运动学和电路等，并提供动态可视化和动画效果，同时无需编程技能即可创建仿真。

AI项目与工具 2025年06月12日 71 点赞 0 评论 572 浏览

LiveKit Agents

LiveKit Agents 是一款基于 Python 的多模态 AI 工具框架，支持实时语音、视频和数据交互。其核心功能包括基于 WebRTC 的低延迟通信、与 OpenAI 等服务的深度集成、丰富的插件生态系统以及负载均衡与自动扩展能力。适用于虚拟助手、客户服务、实时翻译、视频内容审核等多个应用场景。

AI项目与工具 2025年06月12日 55 点赞 0 评论 571 浏览

Image

Image-01 是一款由 MiniMax 开发的文本到图像生成模型，能够根据文本描述精准生成高质量、高分辨率图像，支持多种纵横比输出。具备优秀的人物与物体渲染能力，适用于艺术创作、广告设计、影视制作等多个领域。支持高效批量生成，单次最多输出 9 张图像，每分钟处理 10 个请求，提升创作效率。采用扩散模型与 Transformer 架构，结合线性注意力与 MoE 技术，确保图像质量与生成效率。

AI项目与工具 2025年06月12日 95 点赞 0 评论 571 浏览