多模态
  1. 首页
  2. 多模态

列表

3D

3D

3D-Speaker是一个多模态开源项目，专注于通过结合声学、语义和视觉信息，实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码，以及多样化数据集，并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。
AI项目与工具 2025年06月12日
Qihoo

Qihoo

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过稀疏代理标记注意力机制显著降低计算复杂度，支持文本到图像、视频及多视图生成。具备高效生成能力和多任务适应性，适用于创意设计、视频制作、教育、游戏开发及广告等多个领域。
AI项目与工具 2025年06月12日
NEXUS

NEXUS

NEXUS-O是一款由多家知名机构联合开发的多模态AI模型，能够处理音频、图像、视频和文本等多种输入，并以相应形式输出结果。它在视觉理解、音频问答、语音识别和翻译等方面表现出色，具备强大的跨模态对齐与交互能力。模型基于视觉语言预训练，结合高质量音频数据提升性能，并通过多模态任务联合训练增强泛化能力。适用于智能语音助手、视频会议、教育、智能驾驶、医疗健康等多个领域。
AI项目与工具 2025年06月12日
腾讯混元

腾讯混元

腾讯混元大模型是由腾讯研发的大语言模型，具备跨领域知识和自然语言理解能力，实现基于人机自然语言对话的方式，理解用户指令并执行任务，帮助用户实现人获取信息，知识和灵感。
Ai平台模型 2026年08月09日
OmniBooth

OmniBooth

OmniBooth是一款由华为诺亚方舟实验室与香港科技大学联合开发的图像生成框架，支持基于文本或图像的多模态指令控制及实例级定制。它通过高维潜在控制信号实现对图像中对象位置和属性的精准操控，具备多模态嵌入提取、空间变形技术以及特征对齐网络等功能，广泛应用于数据集生成、内容创作、游戏开发、虚拟现实及广告营销等领域。
AI项目与工具 2025年06月12日
Reka Flash 3

Reka Flash 3

Reka Flash 3 是一款由 Reka AI 开发的开源推理模型，拥有 21 亿参数，支持多模态输入（文本、图像、视频、音频），并可处理最长 32k 个令牌的上下文。它具备高效的推理能力和多语言支持，适用于日常对话、编码辅助、指令执行等多种场景。模型可在本地部署，支持 4 位量化以降低资源占用，适合广泛的应用需求。
AI项目与工具 2025年06月12日
Firefly Image Model 4

Firefly Image Model 4

Firefly Image Model 4 是 Adobe 推出的图像生成模型，支持高分辨率（最高2K）图像生成，并提供对图像结构、风格、视角等的精细控制。其增强版 Firefly Image Model 4 Ultra 特别适用于复杂场景和细节处理。该模型基于深度学习技术，包括 GAN 和 Diffusion Model，能够根据文本描述或参考图像生成高质量图像。广泛应用于创意设计、广告、艺术、
AI项目与工具 2025年06月11日
LMMs

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架，提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型，并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench，分别通过精简数据集降低评估成本并动态更新评估数据集，以确保模型泛化能力的有效评估。
AI项目与工具 2025年06月12日
Versatile

Versatile

Versatile-OCR-Program是一款开源多模态OCR工具，支持从教育材料中提取文本、公式、表格等结构化数据，输出为JSON或Markdown格式，准确率高达90%-95%。它基于DocLayout-YOLO、Google Vision和MathPix等技术，支持多语言处理，适用于教育数据集制作、教学辅助、AI模型训练及个人学习等场景。
AI项目与工具 2025年06月11日
星火快答

星火快答

星火快答是科大讯飞推出的AI智能交互系统，集成了虚拟人、语音识别、大数据分析等功能，适用于展厅、会议、营销等场景。支持多模态交互、知识问答、数据可视化与跨屏联动，提升信息传递效率与用户体验。
AI项目与工具 2025年06月12日