多模态

1. 首页
2. 多模态

Gemini

Gemini是Google DeepMind推出的全新AI模型，集成了多模态推理功能，超越了以往模型的性能，适用于科学文献洞察、竞争性编程等多种应用场景。

Ai平台模型 2025年06月05日 100 点赞 0 评论 507 浏览

YuE

YuE 是一款由香港科技大学与 Multimodal Art Projection 联合开发的开源 AI 音乐生成模型，支持多语言和多种音乐风格，如流行、金属、爵士、嘻哈等。通过语义增强音频分词器、双分词技术和三阶段训练方案，解决长上下文处理与音乐生成难题，生成结构连贯、旋律优美的歌曲。模型完全开源，用户可自由使用和定制，适用于音乐创作、影视配乐、游戏音效及社交媒体内容制作等多个场景。

AI项目与工具 2025年06月12日 23 点赞 0 评论 506 浏览

MinerU

MinerU是一款开源智能数据提取工具，专注于复杂PDF文档的高效解析与提取。它能够将包含多种内容类型的PDF文档转换为结构化的Markdown格式，支持图像、公式、表格和文本等多种内容处理，保留原始文档结构和格式，支持公式识别与转换成LaTeX格式，自动删除页眉、页脚、脚注和页码等非内容元素，适用于学术、财务、法律等多个领域。

AI项目与工具 2025年06月12日 92 点赞 0 评论 506 浏览

EMOVA

EMOVA是一款由多所高校与企业联合研发的多模态全能型AI助手，具备处理图像、文本和语音的能力，支持情感化语音对话，并通过轻量级情感控制模块增强了人机交互的自然性。其核心技术包括连续视觉编码器、语义-声学分离的语音分词器及全模态对齐机制，广泛应用于客户服务、教育辅助、智能家居控制等多个领域。

AI项目与工具 2025年06月12日 55 点赞 0 评论 506 浏览

FlexRAG

FlexRAG 是一个高效的检索增强生成（RAG）框架，通过压缩编码器和选择性压缩机制优化长上下文处理，提升计算效率与生成质量。支持多模态数据、多种检索器和多数据类型，适用于开放域问答、对话系统、文档摘要等知识密集型任务，具备灵活配置和可扩展性。

AI项目与工具 2025年06月12日 69 点赞 0 评论 506 浏览

PaliGemma 2

PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。

AI项目与工具 2025年06月12日 10 点赞 0 评论 505 浏览

跃问

一款免费AI聊天机器人，个人效率助手，跃问支持多模态能力，能够理解图片物体、阅读总结文档信息和解析网页内容，支持连续的多轮对话等。

AI写作对话 2025年06月05日 47 点赞 0 评论 505 浏览

Janus

Janus是一种由DeepSeek AI开发的自回归框架，专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能，支持多种输入模态如图像、文本等，并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力，适用于图像创作、自动标注、视觉问答等多个领域。

AI项目与工具 2025年06月12日 45 点赞 0 评论 504 浏览

Media2Face

一款革命性的语音面部动画生成工具，借助 Media2Face，现在可以从任何音频、图像或文本输入无缝生成逼真且富有表现力的面部动画。

Ai开源项目 2025年06月05日 56 点赞 0 评论 504 浏览

SlideChat

SlideChat是一款先进的视觉语言助手，专注于处理和分析千兆像素级别的全切片病理图像。它具备强大的多模态对话能力和复杂指令响应能力，在显微镜检查、诊断等领域展现出卓越性能。通过两阶段训练机制，SlideChat实现了视觉与语言特征的有效对齐，并被广泛应用于病理诊断、医学教育、研究开发以及临床决策支持。 ---

AI项目与工具 2025年06月12日 10 点赞 0 评论 504 浏览