多模态
  1. 首页
  2. 多模态

列表

Large Motion Model

Large Motion Model

Large Motion Model（LMM）是一款由新加坡南洋理工大学S-Lab和商汤科技合作研发的多模态运动生成框架。它支持从文本、音乐等多种模态生成逼真运动序列，具备高度精准的身体部位控制能力和强大的泛化能力。通过整合多样化的MotionVerse数据集以及创新性的ArtAttention机制和预训练策略，LMM在多个领域展现出高效的应用潜力，包括动画、虚拟现实、影视特效及运动分析等。
AI项目与工具 2025年06月12日
Mind GPT

Mind GPT

Mind GPT-3o是一款由理想汽车推出的大规模多模态端到端人工智能模型，集成了语音、视觉与语言理解技术，具备记忆、规划、工具集成及表达能力。它不仅能理解复杂信息，还能提供个性化服务，如智能驾驶辅助、家居设备控制、日程管理和健康咨询等。通过强化逻辑推理与上下文理解，该模型实现了从感知到表达的智能化跨越，为用户提供全面的支持。
AI项目与工具 2025年06月12日
VE

VE

VE-Bench是北京大学MMCAL团队研发的一款视频编辑质量评估工具，包含数据库（VE-Bench DB）和量化评估模块（VE-Bench QA）。它综合考虑了视觉质量、文本-视频一致性及源视频与编辑后视频的动态关联性，旨在实现与人类感知一致的精准评估。适用于电影制作、短视频优化、广告行业等多个领域。
AI项目与工具 2025年06月12日
The Language of Motion

The Language of Motion

The Language of Motion是一款由斯坦福大学李飞飞团队开发的多模态语言模型，能够处理文本、语音和动作数据，生成对应的输出模态。该模型在共同语音手势生成任务上表现出色，且支持情感预测等创新任务。它采用编码器-解码器架构，并通过端到端训练实现跨模态信息对齐。The Language of Motion广泛应用于游戏开发、电影制作、虚拟现实、增强现实及社交机器人等领域，推动了虚拟角色自
AI项目与工具 2025年06月12日
理想同学

理想同学

理想同学是一款基于AI技术打造的智能助手，集成了知识问答、视觉识别、绘画创作和播客等多种功能。它支持多领域的信息查询、语言翻译、文本生成及视觉分析，通过跨平台协作实现数据同步与连续对话。此外，用户可根据需求选择不同模型以优化推理能力，广泛适用于日常生活、学习和工作场景。
AI项目与工具 2025年06月12日
DiTCtrl

DiTCtrl

DiTCtrl是一种基于多模态扩散变换器架构的视频生成工具，能够利用多个文本提示生成连贯且高质量的视频内容，无需额外训练即可实现零样本多提示视频生成。它通过KV共享和潜在混合策略优化不同提示间的平滑过渡，同时在MPVBench基准上表现出色，适用于电影、游戏、广告及新闻等多个领域。
AI项目与工具 2025年06月12日
Valley

Valley

Valley是一款由字节跳动开发的多模态大语言模型，擅长处理文本、图像和视频数据，广泛应用于内容分析、图像和视频描述、电子商务及短视频平台等领域。其Eagle版本通过引入VisionEncoder增强了模型性能，支持灵活调整令牌数量，实现了更高效的多模态数据处理。Valley在多项基准测试中表现出色，尤其在参数规模较小的情况下依然保持优异的成绩。
AI项目与工具 2025年06月12日
Diff

Diff

Diff-Instruct是一种基于积分Kullback-Leibler散度的知识迁移方法，用于从预训练扩散模型中提取知识并指导生成模型的训练。它能够在无需额外数据的情况下，通过最小化IKL散度提升生成模型的性能。Diff-Instruct适用于多种场景，包括预训练扩散模型的蒸馏、现有GAN模型的优化以及视频生成等。
AI项目与工具 2025年06月12日
QVQ

QVQ

QVQ是一个基于Qwen2-VL-72B的开源多模态推理模型，擅长处理文本、图像等多模态数据，具备强大的视觉理解和复杂问题解决能力。它在数学和科学领域的视觉推理任务中表现出色，但在实际应用中仍需解决语言切换、递归推理及图像细节关注等问题。QVQ可广泛应用于教育、自动驾驶、医疗图像分析、安全监控及客户服务等领域。
AI项目与工具 2025年06月12日
OmniAudio

OmniAudio

OmniAudio-2.6B是一款专为边缘设备设计的高性能音频语言模型，具备语音识别、转录、问答、对话生成及内容创作等核心功能。其技术优势在于多模态架构的高效集成、稀疏性利用以及三阶段训练流程，支持FP16和Q4_K_M量化版本，确保在资源受限的环境下仍能稳定运行。OmniAudio-2.6B可应用于智能助手、车载系统、会议记录、教育和医疗等多个领域，为用户提供便捷、高效的语音交互体验。
AI项目与工具 2025年06月12日