多模态
  1. 首页
  2. 多模态

列表

Qihoo

Qihoo

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过稀疏代理标记注意力机制显著降低计算复杂度，支持文本到图像、视频及多视图生成。具备高效生成能力和多任务适应性，适用于创意设计、视频制作、教育、游戏开发及广告等多个领域。
AI项目与工具 2025年06月12日
Video

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积（STC）连接器和音频分支，显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。
AI项目与工具 2025年06月12日
cpmGO

cpmGO

cpmGO是面壁智能推出的端侧智能助手，专为汽车座舱设计，支持多模态交互与本地化处理，保障隐私并适应弱网环境。其基于MiniCPM模型优化，具备智能任务处理、快速响应及灵活定制能力，适用于多种智能汽车场景，提升人车交互的便捷性与安全性。
AI项目与工具 2025年06月12日
NEXUS

NEXUS

NEXUS-O是一款由多家知名机构联合开发的多模态AI模型，能够处理音频、图像、视频和文本等多种输入，并以相应形式输出结果。它在视觉理解、音频问答、语音识别和翻译等方面表现出色，具备强大的跨模态对齐与交互能力。模型基于视觉语言预训练，结合高质量音频数据提升性能，并通过多模态任务联合训练增强泛化能力。适用于智能语音助手、视频会议、教育、智能驾驶、医疗健康等多个领域。
AI项目与工具 2025年06月12日
DICE

DICE

DICE-Talk是由复旦大学与腾讯优图实验室联合开发的动态肖像生成框架，能够根据音频和参考图像生成具有情感表达的高质量视频。其核心在于情感与身份的解耦建模，结合情感关联增强和判别机制，确保生成内容的情感一致性与视觉质量。该工具支持多模态输入，具备良好的泛化能力和用户自定义功能，适用于数字人、影视制作、VR/AR、教育及心理健康等多个领域。
AI项目与工具 2025年06月11日
ACE

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具，通过长上下文条件单元（LCU）和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务，适用于艺术创作、媒体制作、广告设计、教育培训等多个领域，提供高效且灵活的视觉内容解决方案。
AI项目与工具 2025年06月12日
GO

GO

GO-1是智元机器人推出的首个通用具身基座模型，采用ViLLA架构，结合多模态大模型与混合专家系统，具备场景感知、动作理解和精细执行能力。支持小样本快速泛化、跨本体部署与持续进化，广泛应用于零售、制造、家庭及科研等领域，推动具身智能技术发展。
AI项目与工具 2025年06月12日
Insight

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型，专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步，并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度，在多个视觉推理基准测试中表现出色。
AI项目与工具 2025年06月12日
Transfusion

Transfusion

Transfusion是由Meta公司开发的多模态AI模型，能够同时生成文本和图像，并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型，在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据，表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成
AI项目与工具 2025年06月12日
JanusFlow

JanusFlow

JanusFlow是一款集成了自回归语言模型与校正流技术的多模态AI模型，能够在单一框架内高效完成图像理解和生成任务。它通过解耦视觉编码器和表示对齐策略，显著提升了模型在视觉理解与图像生成上的表现，广泛应用于图像生成、多模态内容创作、视觉问答、图像理解和辅助设计等多个领域。
AI项目与工具 2025年06月12日