多模态

1. 首页
2. 多模态

MinerU

MinerU是一款开源智能数据提取工具，专注于复杂PDF文档的高效解析与提取。它能够将包含多种内容类型的PDF文档转换为结构化的Markdown格式，支持图像、公式、表格和文本等多种内容处理，保留原始文档结构和格式，支持公式识别与转换成LaTeX格式，自动删除页眉、页脚、脚注和页码等非内容元素，适用于学术、财务、法律等多个领域。

AI项目与工具 2025年06月12日 92 点赞 0 评论 337 浏览

Gemini Live

Gemini Live是一款由谷歌开发的智能语音助手，拥有自然语言理解和多模态识别能力，支持语音、图像和视频交互。其主要功能包括自然语言对话、多模态识别、个性化语音选择、任务自动化以及智能打断和续接。此外，Gemini Live还与谷歌的原生应用深度集成，提升用户体验。目标用户包括商务人士、技术探索者、多语言用户、创意人士和老年人。

AI项目与工具 2025年06月12日 13 点赞 0 评论 434 浏览

MovieDreamer

MovieDreamer是一个由浙江大学与阿里巴巴联合开发的AI视频生成框架，专为长视频设计。该框架结合自回归模型和扩散渲染技术，生成复杂的长视频内容。它支持多层次叙事一致性、高质量视觉渲染和多模态脚本，适用于电影预告片、VR叙事、教育视频和游戏内剧情等多种场景。

AI项目与工具 2025年06月12日 34 点赞 0 评论 290 浏览

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型，具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息，在视觉语言任务中表现出色，并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛，包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。

AI项目与工具 2025年06月12日 57 点赞 0 评论 148 浏览

浦语灵笔

浦语灵笔IXC-2.5是一款由上海人工智能实验室开发的多模态大模型，具备7B规模的大型语言模型后端，能够处理长上下文、超高分辨率图像和细粒度视频理解，支持多轮多图像对话。该模型可以自动生成网页代码和高质量图文内容，在多模态基准测试中表现出色，性能可与OpenAI的GPT-4V相媲美。

AI项目与工具 2025年06月12日 62 点赞 0 评论 487 浏览

Transfusion

Transfusion是由Meta公司开发的多模态AI模型，能够同时生成文本和图像，并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型，在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据，表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成

AI项目与工具 2025年06月12日 26 点赞 0 评论 221 浏览

RAGFlow

RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，通过深度学习模型解析和理解文档内容，并增强生成能力。它提供了多种功能，包括自动化工作流、包管理、安全漏洞检测与修复、即时开发环境、AI辅助代码编写以及代码审查。RAGFlow的技术原理涵盖了文档理解、检索增强、生成模型、注意力机制、多模态处理、上下文融合和优化算法。该工具适用于内容创作辅助、数据摘

AI项目与工具 2025年06月12日 10 点赞 0 评论 139 浏览

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架，提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型，并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench，分别通过精简数据集降低评估成本并动态更新评估数据集，以确保模型泛化能力的有效评估。

AI项目与工具 2025年06月12日 86 点赞 0 评论 221 浏览

mPLUG

mPLUG-Owl3是一款由阿里巴巴开发的多模态AI模型，专注于理解和处理多图及长视频内容。该模型具备高推理效率和准确性，采用创新的Hyper Attention模块优化视觉与语言信息的融合。它已在多个基准测试中展现出卓越性能，并且其源代码和资源已公开，可供研究和应用。

AI项目与工具 2025年06月12日 73 点赞 0 评论 200 浏览

山海大模型

山海大模型是一款由云知声推出的多模态人工智能模型，具备强大的知识储备和多模态交互能力。它能够通过文本、音频和图像等形式与用户进行实时互动，提供信息查询、知识学习和灵感激发等服务。主要功能包括内容生成与理解、知识问答、逻辑推理、代码能力以及多模态交互特色，如实时响应、情绪感知、音色切换和视觉场景理解。该模型可应用于智能客服、教育辅助、医疗咨询、个人助理和内容创作等多个领域。

AI项目与工具 2025年06月12日 55 点赞 0 评论 245 浏览