多模态
  1. 首页
  2. 多模态

列表

AudioX

AudioX

AudioX 是一种基于多模态输入的音频生成模型，支持文本、视频、图像等多种输入方式，能够生成高质量的音频和音乐。其核心创新在于多模态掩码训练策略，提升了跨模态理解和生成能力。具备零样本生成、自然语言控制及强大的泛化能力，适用于视频配乐、动画音效、音乐创作等多个场景。
AI项目与工具 2025年06月12日
Liquid

Liquid

Liquid是由华中科技大学、字节跳动和香港大学联合开发的多模态生成框架，通过VQGAN将图像编码为离散视觉token并与文本共享词汇空间，使大型语言模型无需修改结构即可处理视觉任务。该框架降低训练成本，提升视觉生成与理解性能，并在多模态任务中表现出色。支持图像生成、视觉问答、多模态融合等应用，适用于创意设计、内容创作及智能交互等领域。
AI项目与工具 2025年06月12日
PP

PP

PP-DocBee是百度飞桨推出的多模态文档理解模型，基于ViT+MLP+LLM架构，支持文字、表格、图表等多类型文档内容的精准识别与解析。具备高效的推理性能和高质量输出，适用于文档问答、信息提取等场景，支持灵活部署，为文档处理提供智能化解决方案。
AI项目与工具 2025年06月12日
Chinese

Chinese

Chinese-LiPS是由智源研究院与南开大学联合开发的高质量中文多模态语音识别数据集，包含100小时语音、视频及手动转录文本。其创新性融合唇读视频与幻灯片内容，显著提升语音识别性能，实验表明可降低字符错误率约35%。适用于教学、科普、虚拟讲解等复杂语境，为多模态语音识别研究提供丰富数据支持。
AI项目与工具 2025年06月11日
Character

Character

Character-3 是 Hedra Studio 推出的全模态 AI 视频生成工具，支持图像、文本和音频输入，生成高质量动态视频。具备全身动作捕捉、情感控制、精准对口型等功能，适用于创意视频、虚拟形象、教育、营销等多个场景。采用多模态融合与先进 AI 技术，提升视频自然度与连贯性，提高内容创作效率。
AI项目与工具 2025年06月12日
LaDeCo

LaDeCo

LaDeCo是一款基于多模态模型的自动化图形设计工具，通过分层规划与逐步生成的方式，实现从多模态输入到高质量设计输出的转换。其核心功能涵盖层规划、层级设计生成、分辨率调整、元素填充及多样化设计输出，广泛适用于设计师、研究人员、评估人员及开发者等群体，助力提升设计效率与质量。
AI项目与工具 2025年06月12日
Firefly Image Model 4

Firefly Image Model 4

Firefly Image Model 4 是 Adobe 推出的图像生成模型，支持高分辨率（最高2K）图像生成，并提供对图像结构、风格、视角等的精细控制。其增强版 Firefly Image Model 4 Ultra 特别适用于复杂场景和细节处理。该模型基于深度学习技术，包括 GAN 和 Diffusion Model，能够根据文本描述或参考图像生成高质量图像。广泛应用于创意设计、广告、艺术、
AI项目与工具 2025年06月11日
Ming

Ming

Ming-Lite-Omni是蚂蚁集团开源的统一多模态大模型，基于MoE架构，支持文本、图像、音频和视频等多种模态的输入输出，具备强大的理解和生成能力。模型在多个任务中表现优异，如图像识别、视频理解、语音问答等，适用于OCR识别、知识问答、视频分析等多个领域。其高效处理能力和多模态交互特性，为用户提供一体化智能体验。
AI项目与工具 2025年06月11日
xGen

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型，具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息，在视觉语言任务中表现出色，并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛，包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。
AI项目与工具 2025年06月12日
腾讯乐享AI助手

腾讯乐享AI助手

腾讯乐享AI助手，基于腾讯的大模型等 AIGC 能力开发，该助手集成了腾讯乐享的多项产品能力，包括智能知识问答、多模态智能搜索、AI 辅助创作、智能生成考题等功能。
教育学习 2025年06月05日