多模态
  1. 首页
  2. 多模态

列表

FlexIP

FlexIP

FlexIP 是腾讯推出的图像合成框架，支持在保持主体身份的同时进行个性化编辑。其双适配器架构分离身份保持与编辑功能，结合动态权重门控机制实现灵活控制，并通过多模态数据训练提升生成质量与稳定性，适用于艺术创作、广告设计、影视制作等多个领域。
AI项目与工具 2025年06月11日
Magma

Magma

Magma是微软研究院开发的多模态AI基础模型，具备理解与执行多模态任务的能力，覆盖数字与物理环境。它融合语言、空间与时间智能，支持从UI导航到机器人操作的复杂任务。基于大规模视觉-语言和动作数据预训练，Magma在零样本和微调设置下表现优异，适用于网页操作、机器人控制、视频理解及智能助手等多个领域。
AI项目与工具 2025年06月12日
Qihoo

Qihoo

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过稀疏代理标记注意力机制显著降低计算复杂度，支持文本到图像、视频及多视图生成。具备高效生成能力和多任务适应性，适用于创意设计、视频制作、教育、游戏开发及广告等多个领域。
AI项目与工具 2025年06月12日
LongDocURL

LongDocURL

LongDocURL是一个由中国科学院自动化研究所和阿里巴巴联合发布的多模态长文档理解基准数据集，包含2,325组问答对，覆盖33,000页文档，涉及20个子任务。该数据集专注于评估AI模型在长文档理解、数值推理、跨元素定位及多样化任务中的性能，支持文本、图像和表格等多种模式，具有高质量和多样性的特点。
AI项目与工具 2025年06月12日
MedRAX

MedRAX

MedRAX是一款面向胸部X光检查的医学推理AI系统，结合多模态大模型与专业工具，实现复杂医疗问题的动态处理。支持多步骤推理、精准诊断与多种影像分析功能，适用于临床支持、教育培训及远程医疗等场景。系统具备良好的扩展性与部署灵活性，已在多项基准测试中表现优异。
AI项目与工具 2025年06月12日
WorldSense

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具，用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对，覆盖8大领域及26类认知任务，强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证，确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域，推动AI模型在多模态场景下的性能提升。
AI项目与工具 2025年06月12日
Lyra

Lyra

Lyra是一款由香港中文大学、SmartMore和香港科技大学联合研发的高效多模态大型语言模型（MLLM）。它通过整合视觉、语音和文本三种模态的信息，实现了强大的跨模态理解和推理能力。Lyra不仅擅长处理长语音数据，还支持流式文本-语音生成及跨模态信息交互，适用于智能助手、客户服务、教育培训、医疗健康等多个领域。
AI项目与工具 2025年06月12日
DoraCycle

DoraCycle

DoraCycle是由新加坡国立大学Show Lab开发的一种多模态生成模型，通过文本与图像间的双向循环一致性学习，实现跨模态信息转换与对齐。其核心优势在于无需大量标注数据即可完成领域适应，支持风格化设计、虚拟角色生成等多样化任务。模型采用自监督学习和梯度裁剪等技术提升训练稳定性，适用于广告、教育等多个应用场景。
AI项目与工具 2025年06月12日
Steamer

Steamer

Steamer-I2V 是百度 Steamer 团队推出的图像到视频生成模型，能够将静态图像转化为动态视频，具备卓越的视觉生成能力。该模型基于 Transformer 扩散架构，支持多模态输入，包括中文文本提示和参考图像，实现像素级的画面控制与电影级构图效果。在 VBench 评测中荣获榜首，生成高清 1080P 视频，优化时间一致性与运动规律性，适用于广告、影视、游戏开发和内容创作等多个领域。
AI项目与工具 2025年06月11日
mPLUG

mPLUG

mPLUG-Owl3是一款由阿里巴巴开发的多模态AI模型，专注于理解和处理多图及长视频内容。该模型具备高推理效率和准确性，采用创新的Hyper Attention模块优化视觉与语言信息的融合。它已在多个基准测试中展现出卓越性能，并且其源代码和资源已公开，可供研究和应用。
AI项目与工具 2025年06月12日