模态融合
  1. 首页
  2. 模态融合

列表

CoGenAV

CoGenAV

CoGenAV是一种先进的多模态学习模型，专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练，利用同步音频、视频和文本数据，学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能，适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。
AI项目与工具 2025年06月11日
NVLM

NVLM

NVLM是NVIDIA研发的多模态大型语言模型，涵盖图像理解、语言理解、跨模态融合、图像描述生成、视觉推理及多模态翻译等功能。它具备多种架构（NVLM-D、NVLM-X、NVLM-H），并采用动态高分辨率输入、1-D平铺标签设计及多模态预训练与微调技术，广泛应用于图像描述、视觉问答、文档理解、多模态搜索及辅助驾驶等领域。
AI项目与工具 2025年06月12日
Vidu Q1

Vidu Q1

Vidu Q1是清华大学朱军教授团队研发的高可控视频生成模型，支持1080p高清视频生成，具备精准音效控制、多主体一致性调节、局部超分重建等功能。在多项国际评测中表现优异，包括VBench和SuperCLUE榜单均获第一。模型基于扩散模型与U-ViT架构，融合文本、图像和视频信息，适用于影视制作、广告宣传及动画创作等领域。
AI项目与工具 2025年06月12日
VersaGen

VersaGen

VersaGen是一款基于生成式AI的文本到图像合成工具，支持多样化视觉控制和灵活的创意表达。通过适配器训练和优化策略，VersaGen将视觉信息融入生成过程中，显著提升了图像质量和用户体验。该工具适用于创意设计、数字艺术、广告营销、游戏开发及影视制作等多个领域，为用户提供了高效且直观的视觉创作解决方案。
AI项目与工具 2025年06月12日
Liquid

Liquid

Liquid是由华中科技大学、字节跳动和香港大学联合开发的多模态生成框架，通过VQGAN将图像编码为离散视觉token并与文本共享词汇空间，使大型语言模型无需修改结构即可处理视觉任务。该框架降低训练成本，提升视觉生成与理解性能，并在多模态任务中表现出色。支持图像生成、视觉问答、多模态融合等应用，适用于创意设计、内容创作及智能交互等领域。
AI项目与工具 2025年06月12日
FLUX.1 Kontext

FLUX.1 Kontext

FLUX.1 Kontext是由Black Forest Labs推出的图像生成与编辑模型，支持上下文感知的图像处理。它基于文本和图像提示进行生成与编辑，具备对象修改、风格转换、背景替换、角色一致性保持和文本编辑等功能。FLUX.1 Kontext Pro版本支持快速迭代编辑，Kontext Max版本在提示词遵循和排版生成方面表现优异，而dev开源版本适合定制化开发。
AI项目与工具 2025年06月11日