多模态

1. 首页
2. 多模态

天谱乐

天谱乐是一款由趣丸科技推出的支持多模态输入的音乐生成工具，涵盖文本、图片及视频生成音乐功能。它能够准确理解音乐复杂特性并生成高契合度配乐，同时提供专家模式和音乐编辑功能，适用于音乐创作、短视频配乐、影视配乐及个人娱乐等多个领域。

AI项目与工具 2025年06月12日 95 点赞 0 评论 604 浏览

VITA

VITA-Audio 是一款开源的端到端多模态语音大模型，具备低延迟、高推理效率和多模态交互能力。其核心创新包括轻量级 MCTP 模块和四阶段渐进式训练策略，使模型在语音识别、文本转语音和口语问答等任务中表现优异。支持实时对话、智能客服、教育辅助、医疗辅助及内容创作等多种应用场景，适用于各类语音交互系统。

AI项目与工具 2025年06月11日 19 点赞 0 评论 603 浏览

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型，参数量为968M。它基于LLaVA架构优化，能够处理视觉与文本输入，显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能，广泛应用于内容审核、智能助手、视觉搜索等领域。

AI项目与工具 2025年06月12日 37 点赞 0 评论 602 浏览

OminiControl

OminiControl是一款高效且参数节约的图像生成框架，专为扩散变换器模型设计，支持主题驱动和空间控制。通过增加少量参数，它能够生成高质量图像并保持主题一致性，适用于多种应用场景，包括艺术创作、游戏开发和广告设计等。其强大的多模态注意力机制和灵活的架构使其成为图像生成领域的创新工具。

AI项目与工具 2025年06月12日 94 点赞 0 评论 602 浏览

DocMind

DocMind是一款基于Transformer架构的文档智能大模型，融合了深度学习、NLP和CV技术，用于处理富文本文档的复杂结构和视觉信息。它能够精准识别文档实体、捕捉文本依赖关系并深入理解文档内容，支持知识库结合，提升专业文档理解能力。DocMind还具备自动执行文档相关任务的功能，如问题解答、文档分类整理等，广泛应用于法律、教育、金融等领域。

AI项目与工具 2025年06月12日 89 点赞 0 评论 600 浏览

海螺视频APP

海螺视频APP是一款基于AI技术的视频生成工具，支持文生视频和图生视频功能，提供丰富的镜头控制选项，让用户能像专业导演一样创作动态视频。该工具适用于多种场景，如社交媒体、广告营销、影视制作等，操作简便，适合各类用户使用。

AI项目与工具 2025年06月12日 21 点赞 0 评论 600 浏览

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器，通过结合局部与全局token，提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息，增强细节感知能力。在多个基准测试中表现优异，尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略，提高模型泛化能力，适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

AI项目与工具 2025年06月12日 38 点赞 0 评论 597 浏览

RDT

RDT是清华大学AI研究院推出的一款双臂机器人操作任务扩散基础模型，拥有十亿参数量，可自主完成复杂任务，如调酒和遛狗。该模型基于模仿学习，具备强大的泛化能力和操作精度，支持多种模态输入和少样本学习。RDT已在餐饮、家庭、医疗、工业及救援等领域展现广泛应用前景，推动机器人技术发展。

AI项目与工具 2025年06月12日 83 点赞 0 评论 596 浏览

PixVerse V3

PixVerse V3是一款由爱诗科技开发的AI视频生成工具，具备创意模板、口型匹配、风格转换等多模态生成能力。其核心功能包括精准的提示词理解、高质量视频生成、多种视频比例支持以及风格化功能升级。新增的口型适配功能和8个创意效果模板进一步丰富了应用场景，适用于社交媒体、广告营销、教育、影视及游戏开发等领域。

AI项目与工具 2025年06月12日 79 点赞 0 评论 595 浏览

Megrez

Megrez-3B-Omni是一款具备全模态理解能力的开源模型，支持图像、音频和文本的综合处理，具备强大的推理效率和多模态交互功能。它能够在多个权威测试集中展现卓越性能，尤其擅长场景理解、OCR识别及语言生成等任务，同时通过智能WebSearch调用增强问题解答能力，适用于个人助理、智能家居、车载系统等多种应用场景。

AI项目与工具 2025年06月12日 25 点赞 0 评论 594 浏览