多模态

MinMo

MinMo是阿里巴巴通义实验室推出的多模态语音交互大模型,具备高精度语音识别与生成能力。支持情感表达、方言转换、音色模仿及全双工交互,适用于智能客服、教育、医疗等多个领域,提升人机对话的自然度与效率。

MagicAvatar

MagicAvatar由字节跳动开发,是一款主打多模态输入生成的多模态框架,可以将文本、视频和音频等不同输入方式转化为动作信号,从而生成和动画化一个虚拟人物。

OpenAI o4

OpenAI o4-mini 是一款高性能、低成本的小型推理模型,专为快速处理数学、编程和视觉任务优化。它具备多模态能力,可结合图像与文本进行推理,并支持工具调用以提高准确性。在多项基准测试中表现优异,尤其在数学和编程领域接近完整版模型。适用于教育、数据分析、软件开发及内容创作等多个场景,是高效率与性价比兼备的AI工具。

EliGen

EliGen是由浙江大学与阿里巴巴集团联合开发的实体级可控图像生成框架,采用区域注意力机制实现对图像中实体的精确控制,支持多实体修复、风格化生成及交互式编辑。基于50万高质量注释样本训练,具备强大泛化能力,适用于虚拟场景、角色设计、数据合成及产品展示等场景。

DAM

DAM-3B是英伟达开发的多模态大语言模型,专用于图像和视频中特定区域的详细描述。支持点、边界框、涂鸦或掩码等方式指定目标区域,生成精准文本描述。其核心技术包括焦点提示与局部视觉骨干网络,有效融合全局与局部特征。DAM-3B-Video版本扩展至视频处理,适用于动态场景。模型基于Transformer架构,支持多模态输入,广泛应用于内容创作、智能交互及无障碍工具等领域。

InspireMusic

InspireMusic是由阿里巴巴通义实验室开发的AI音乐生成工具,支持通过文字描述或音频提示生成多种风格的音乐作品。其核心技术包括音频 tokenizer、自回归 Transformer 模型、扩散模型(CFM)和 Vocoder,实现文本到音乐的转换、音乐续写及高质量音频输出。该工具支持长音频生成、多种采样率,并提供快速与高音质两种推理模式,适用于音乐创作、音频处理及个性化音乐生成等场景。

Skywork R1V

Skywork R1V是昆仑万维推出的首个工业级多模态思维链推理模型,具备强大的视觉链式推理能力,可处理数学问题、科学现象分析、医学影像诊断等复杂任务。其技术基于文本推理能力的多模态迁移与混合式训练方法,在多项基准测试中表现优异。模型开源,适用于教育、医疗、科研、内容审核等多个领域,推动多模态人工智能的发展。

OminiControl

OminiControl是一款高效且参数节约的图像生成框架,专为扩散变换器模型设计,支持主题驱动和空间控制。通过增加少量参数,它能够生成高质量图像并保持主题一致性,适用于多种应用场景,包括艺术创作、游戏开发和广告设计等。其强大的多模态注意力机制和灵活的架构使其成为图像生成领域的创新工具。

YAYI

YAYI-Ultra是中科闻歌研发的企业级大语言模型,具备多领域专业能力与多模态内容生成能力,支持数学、代码、金融、中医等领域。模型支持超长文本处理、数据分析、任务规划及联网创作,适用于媒体、医疗、财税等行业。采用混合专家架构,结合指令微调技术,在多项评测中表现优异,提供高效、精准的智能化服务。

TITAN

TITAN是一款由哈佛医学院研究团队开发的多模态全切片病理基础模型,通过视觉自监督学习和视觉-语言对齐预训练,能够在无需微调或临床标签的情况下提取通用切片表示并生成病理报告。它在多种临床任务中表现出色,包括线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索和病理报告生成,尤其适用于资源有限的临床场景。