多模态

JanusFlow

JanusFlow是一款集成了自回归语言模型与校正流技术的多模态AI模型,能够在单一框架内高效完成图像理解和生成任务。它通过解耦视觉编码器和表示对齐策略,显著提升了模型在视觉理解与图像生成上的表现,广泛应用于图像生成、多模态内容创作、视觉问答、图像理解和辅助设计等多个领域。

GO

GO-1是智元机器人推出的首个通用具身基座模型,采用ViLLA架构,结合多模态大模型与混合专家系统,具备场景感知、动作理解和精细执行能力。支持小样本快速泛化、跨本体部署与持续进化,广泛应用于零售、制造、家庭及科研等领域,推动具身智能技术发展。

DICE

DICE-Talk是由复旦大学与腾讯优图实验室联合开发的动态肖像生成框架,能够根据音频和参考图像生成具有情感表达的高质量视频。其核心在于情感与身份的解耦建模,结合情感关联增强和判别机制,确保生成内容的情感一致性与视觉质量。该工具支持多模态输入,具备良好的泛化能力和用户自定义功能,适用于数字人、影视制作、VR/AR、教育及心理健康等多个领域。

Insight

Insight-V是一款由南洋理工大学、腾讯和清华大学联合研发的多模态大型语言模型,专为提升长链视觉推理能力而设计。该模型通过多智能体系统将任务分解为推理与总结两步,并采用两阶段训练流程优化性能。其渐进式数据生成和多粒度评估方法进一步提升了模型的推理精度,在多个视觉推理基准测试中表现出色。

Transfusion

Transfusion是由Meta公司开发的多模态AI模型,能够同时生成文本和图像,并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型,在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据,表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成

NEXUS

NEXUS-O是一款由多家知名机构联合开发的多模态AI模型,能够处理音频、图像、视频和文本等多种输入,并以相应形式输出结果。它在视觉理解、音频问答、语音识别和翻译等方面表现出色,具备强大的跨模态对齐与交互能力。模型基于视觉语言预训练,结合高质量音频数据提升性能,并通过多模态任务联合训练增强泛化能力。适用于智能语音助手、视频会议、教育、智能驾驶、医疗健康等多个领域。

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具,通过长上下文条件单元(LCU)和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务,适用于艺术创作、媒体制作、广告设计、教育培训等多个领域,提供高效且灵活的视觉内容解决方案。

cpmGO

cpmGO是面壁智能推出的端侧智能助手,专为汽车座舱设计,支持多模态交互与本地化处理,保障隐私并适应弱网环境。其基于MiniCPM模型优化,具备智能任务处理、快速响应及灵活定制能力,适用于多种智能汽车场景,提升人车交互的便捷性与安全性。

Amazon Nova Premier

Amazon Nova Premier 是亚马逊推出的多模态 AI 模型,支持文本、图像和视频输入,具备超长上下文处理能力(最高达 100 万 token),适用于复杂任务处理、多步骤规划与跨数据源执行。可通过模型蒸馏生成轻量级版本,优化生产部署。支持多语言,具备安全控制机制,广泛应用于金融、法律、软件开发等领域。

元镜

元镜是一款基于人机共生引擎的AI视频创作工具,支持从创意脚本生成到成片输出的全流程制作。具备多模态分镜设计、智能工作流和一键成片功能,提升视频创作效率与质量。适用于短视频、广告、教育、影视及政务宣传等多个领域,满足多样化内容生产需求。