模态融合

1. 首页
2. 模态融合

FLUX.1 Kontext

FLUX.1 Kontext是由Black Forest Labs推出的图像生成与编辑模型，支持上下文感知的图像处理。它基于文本和图像提示进行生成与编辑，具备对象修改、风格转换、背景替换、角色一致性保持和文本编辑等功能。FLUX.1 Kontext Pro版本支持快速迭代编辑，Kontext Max版本在提示词遵循和排版生成方面表现优异，而dev开源版本适合定制化开发。

AI项目与工具 2025年06月11日 15 点赞 0 评论 127 浏览

CoGenAV

CoGenAV是一种先进的多模态学习模型，专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练，利用同步音频、视频和文本数据，学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能，适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。

AI项目与工具 2025年06月11日 80 点赞 0 评论 302 浏览

URM

URM是由阿里妈妈开发的通用推荐模型，结合大语言模型与电商领域知识，提升推荐效果。其采用多模态融合与Sequence-In-Set-Out生成方式，支持多场景、多目标、长尾及发现性推荐。具备高效率、零样本学习能力，适用于工业级推荐系统，已应用于阿里妈妈展示广告场景，优化用户体验与商家投放效果。

AI项目与工具 2025年06月11日 85 点赞 0 评论 454 浏览

Hummingbird

Hummingbird-0 是一款基于深度学习的 AI 口型同步工具，支持零样本学习，无需额外训练即可快速生成高质量口型同步视频。它兼容多种格式，支持最长 5 分钟视频处理，1 分钟内生成 10 秒视频，适用于影视制作、广告、本地化翻译及 AI 内容创作等场景。通过多模态融合技术，实现音频与视频的精准匹配，提升内容表现力。

AI项目与工具 2025年06月11日 42 点赞 0 评论 395 浏览

SimpleAR

SimpleAR是一款由复旦大学与字节跳动联合研发的纯自回归图像生成模型，采用简洁架构实现高质量图像生成。其通过“预训练-有监督微调-强化学习”三阶段训练方法，提升文本跟随能力与生成效果。支持文本到图像及多模态融合生成，兼容加速技术，推理速度快。适用于创意设计、虚拟场景构建、多模态翻译、AR/VR等多个领域。

AI项目与工具 2025年06月11日 76 点赞 0 评论 410 浏览

Vidu Q1

Vidu Q1是清华大学朱军教授团队研发的高可控视频生成模型，支持1080p高清视频生成，具备精准音效控制、多主体一致性调节、局部超分重建等功能。在多项国际评测中表现优异，包括VBench和SuperCLUE榜单均获第一。模型基于扩散模型与U-ViT架构，融合文本、图像和视频信息，适用于影视制作、广告宣传及动画创作等领域。

AI项目与工具 2025年06月12日 96 点赞 0 评论 241 浏览

InternVL

InternVL是由上海人工智能实验室开发的多模态大模型，融合视觉与语言处理能力，支持图像、视频、文本等多种输入。其基于ViT-MLP-LLM架构，具备多模态理解、多语言处理、文档解析、科学推理等能力，广泛应用于视觉问答、智能客服、图像分析等领域。模型采用动态高分辨率与渐进式训练策略，提升处理效率与准确性。

AI项目与工具 2025年06月12日 78 点赞 0 评论 370 浏览

Liquid

Liquid是由华中科技大学、字节跳动和香港大学联合开发的多模态生成框架，通过VQGAN将图像编码为离散视觉token并与文本共享词汇空间，使大型语言模型无需修改结构即可处理视觉任务。该框架降低训练成本，提升视觉生成与理解性能，并在多模态任务中表现出色。支持图像生成、视觉问答、多模态融合等应用，适用于创意设计、内容创作及智能交互等领域。

AI项目与工具 2025年06月12日 82 点赞 0 评论 128 浏览

Migician

Migician是一款由多所高校联合开发的多模态大语言模型，专为多图像定位任务设计。它基于大规模数据集MGrounding-630k，采用端到端架构和两阶段训练方法，支持跨图像精准定位与多任务处理。Migician适用于自动驾驶、安防监控、医疗影像等多个领域，具有高效的推理能力和灵活的输入方式。

AI项目与工具 2025年06月12日 90 点赞 0 评论 374 浏览

Seer

Seer是一款由多家科研机构联合开发的端到端机器人操作模型，基于Transformer架构实现视觉预测与动作执行的高度协同。它能够融合多模态信息，具备强大的泛化能力和数据效率，在真实机器人任务中表现优异。Seer适用于工业自动化、服务机器人、医疗健康等多个领域，支持精准动作预测和未来状态预判，显著提升了机器人系统的智能化水平。

AI项目与工具 2025年06月12日 54 点赞 0 评论 301 浏览