多模态

Gemini

Gemini是Google DeepMind推出的全新AI模型,集成了多模态推理功能,超越了以往模型的性能,适用于科学文献洞察、竞争性编程等多种应用场景。

YuE

YuE 是一款由香港科技大学与 Multimodal Art Projection 联合开发的开源 AI 音乐生成模型,支持多语言和多种音乐风格,如流行、金属、爵士、嘻哈等。通过语义增强音频分词器、双分词技术和三阶段训练方案,解决长上下文处理与音乐生成难题,生成结构连贯、旋律优美的歌曲。模型完全开源,用户可自由使用和定制,适用于音乐创作、影视配乐、游戏音效及社交媒体内容制作等多个场景。

Cradle

一个通用计算机控制的多模态AI框架,它可以使AI Agent能够像人类一样,能够直接控制键盘和鼠标,实现与任意开源代码或闭源代码软件的交互。

MinerU

MinerU是一款开源智能数据提取工具,专注于复杂PDF文档的高效解析与提取。它能够将包含多种内容类型的PDF文档转换为结构化的Markdown格式,支持图像、公式、表格和文本等多种内容处理,保留原始文档结构和格式,支持公式识别与转换成LaTeX格式,自动删除页眉、页脚、脚注和页码等非内容元素,适用于学术、财务、法律等多个领域。

FlexRAG

FlexRAG 是一个高效的检索增强生成(RAG)框架,通过压缩编码器和选择性压缩机制优化长上下文处理,提升计算效率与生成质量。支持多模态数据、多种检索器和多数据类型,适用于开放域问答、对话系统、文档摘要等知识密集型任务,具备灵活配置和可扩展性。

EMOVA

EMOVA是一款由多所高校与企业联合研发的多模态全能型AI助手,具备处理图像、文本和语音的能力,支持情感化语音对话,并通过轻量级情感控制模块增强了人机交互的自然性。其核心技术包括连续视觉编码器、语义-声学分离的语音分词器及全模态对齐机制,广泛应用于客户服务、教育辅助、智能家居控制等多个领域。

Janus

Janus是一种由DeepSeek AI开发的自回归框架,专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能,支持多种输入模态如图像、文本等,并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力,适用于图像创作、自动标注、视觉问答等多个领域。

SlideChat

SlideChat是一款先进的视觉语言助手,专注于处理和分析千兆像素级别的全切片病理图像。它具备强大的多模态对话能力和复杂指令响应能力,在显微镜检查、诊断等领域展现出卓越性能。通过两阶段训练机制,SlideChat实现了视觉与语言特征的有效对齐,并被广泛应用于病理诊断、医学教育、研究开发以及临床决策支持。 ---

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集,包含500个第一人称视角视频,涵盖77种日常活动,支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务,测试模型对长时间视频内容的信息识别与综合能力,推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制,使其成为学术研究的重要工具。

阿里妈妈·智造字

阿里妈妈·智造字,以研习古今造字的脉络,跨越历史长河,传承汉字基因,探寻中华深层审美规律。