跨模态
  1. 首页
  2. 跨模态

列表

CLaMP 3

CLaMP 3

CLaMP 3是由清华大学朱文武教授团队开发的多模态、多语言音乐信息检索框架，支持文本、图像、音频和乐谱等多种模态之间的跨模态检索。其基于对比学习技术，将不同模态数据与多语言文本对齐至统一语义空间，适用于文本到音乐、图像到音乐检索、零样本分类及音乐推荐等任务。支持27种语言，可扩展至100种，广泛应用于音乐创作、教育、分析及多媒体内容制作。
AI项目与工具 2025年06月12日
Phantom

Phantom

Phantom是由字节跳动研发的视频生成框架，支持从参考图像中提取主体并生成符合文本描述的视频内容。它采用跨模态对齐技术，结合文本和图像提示，实现高质量、主体一致的视频生成。支持多主体交互、身份保留等功能，适用于虚拟试穿、数字人生成、广告制作等多种场景。模型基于文本-图像-视频三元组数据训练，具备强大的跨模态理解和生成能力。
AI项目与工具 2025年06月12日
BioMedGPT

BioMedGPT

BioMedGPT-R1是由清华大学AI产业研究院与北京水木分子生物科技联合开发的多模态生物医药开源大模型。基于DeepSeek R1技术，实现生物模态（如分子、蛋白质）与自然语言的统一融合，支持跨模态问答与深度推理。该模型在药物分子理解、靶点挖掘等领域表现优异，适用于药物设计、临床前研究及医学文本分析等多种场景，具备较高的文本推理能力和多模态处理能力。
AI项目与工具 2025年06月12日
LDGen

LDGen

LDGen是一款结合大型语言模型与扩散模型的文本到图像生成工具，支持零样本多语言生成，提升图像质量和语义一致性。通过分层字幕优化、LLM对齐模块和跨模态精炼器，实现文本与图像的高效交互。实验表明其性能优于现有方法，适用于艺术创作、广告设计、影视制作等多个领域，具备高效、灵活和高质量的生成能力。
AI项目与工具 2025年06月12日
HumanOmni

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型，融合视觉与听觉信息，具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练，采用动态权重调整机制，支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域，具备良好的可扩展性和灵活性。
AI项目与工具 2025年06月12日
Aya Vision

Aya Vision

Aya Vision 是 Cohere 推出的多模态、多语言视觉模型，支持 23 种语言，具备图像描述生成、视觉问答、文本翻译和多语言摘要生成等能力。采用模块化架构与合成标注技术，确保在资源有限条件下仍具高效表现。适用于教育、内容创作、辅助工具开发及多语言交流等多个场景，具有广泛的实用价值。
AI项目与工具 2025年06月12日
NEXUS

NEXUS

NEXUS-O是一款由多家知名机构联合开发的多模态AI模型，能够处理音频、图像、视频和文本等多种输入，并以相应形式输出结果。它在视觉理解、音频问答、语音识别和翻译等方面表现出色，具备强大的跨模态对齐与交互能力。模型基于视觉语言预训练，结合高质量音频数据提升性能，并通过多模态任务联合训练增强泛化能力。适用于智能语音助手、视频会议、教育、智能驾驶、医疗健康等多个领域。
AI项目与工具 2025年06月12日
DoraCycle

DoraCycle

DoraCycle是由新加坡国立大学Show Lab开发的一种多模态生成模型，通过文本与图像间的双向循环一致性学习，实现跨模态信息转换与对齐。其核心优势在于无需大量标注数据即可完成领域适应，支持风格化设计、虚拟角色生成等多样化任务。模型采用自监督学习和梯度裁剪等技术提升训练稳定性，适用于广告、教育等多个应用场景。
AI项目与工具 2025年06月12日
Motion Anything

Motion Anything

Motion Anything 是一款由多所高校与企业联合研发的多模态运动生成框架，可基于文本、音乐或两者结合生成高质量人类运动。其核心在于基于注意力的掩码建模和跨模态对齐技术，实现对运动序列的精细控制与动态优先级调整。该工具支持影视动画、VR/AR、游戏开发、人机交互及教育等多个应用场景，并配套提供 Text-Music-Dance (TMD) 数据集，推动多模态运动生成技术的发展。
AI项目与工具 2025年06月12日
AudioX

AudioX

AudioX 是一种基于多模态输入的音频生成模型，支持文本、视频、图像等多种输入方式，能够生成高质量的音频和音乐。其核心创新在于多模态掩码训练策略，提升了跨模态理解和生成能力。具备零样本生成、自然语言控制及强大的泛化能力，适用于视频配乐、动画音效、音乐创作等多个场景。
AI项目与工具 2025年06月12日