多模态

1. 首页
2. 多模态

LMEval

LMEval是谷歌推出的开源框架，用于简化大型语言模型（LLMs）的跨提供商评估。它支持多模态（文本、图像、代码）和多指标评估，兼容Google、OpenAI、Anthropic等主流模型提供商。LMEval基于增量评估引擎，节省时间和计算资源，并通过自加密的SQLite数据库安全存储评估结果。LMEvalboard提供交互式可视化界面，帮助用户分析模型性能并直观比较不同模型的优缺点。

AI项目与工具 2025年06月11日 27 点赞 0 评论 131 浏览

CAR

CAR（Certainty-based Adaptive Reasoning）是字节跳动联合复旦大学推出的自适应推理框架，旨在提升大型语言模型（LLM）和多模态大型语言模型（MLLM）的推理效率与准确性。该框架通过动态切换短答案和长形式推理，根据模型对答案的置信度（PPL）决定是否进行详细推理，从而在保证准确性的同时节省计算资源。CAR适用于视觉问答（VQA）、关键信息提取（KIE）等任务，在数学

AI项目与工具 2025年06月11日 73 点赞 0 评论 365 浏览

Jodi

Jodi是由中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架，基于联合建模图像域和多个标签域，实现视觉生成与理解的统一。它支持联合生成、可控生成和图像感知三种任务，利用线性扩散Transformer和角色切换机制，提升生成效率和跨领域一致性。Jodi使用Joint-1.6M数据集进行训练，包含20万张高质量图像和7个视觉域标签，适用于创意内容生成、多模态数据增强、图像编辑与修复等场景。

AI项目与工具 2025年06月11日 32 点赞 0 评论 404 浏览

Ming

Ming-Lite-Omni是蚂蚁集团开源的统一多模态大模型，基于MoE架构，支持文本、图像、音频和视频等多种模态的输入输出，具备强大的理解和生成能力。模型在多个任务中表现优异，如图像识别、视频理解、语音问答等，适用于OCR识别、知识问答、视频分析等多个领域。其高效处理能力和多模态交互特性，为用户提供一体化智能体验。

AI项目与工具 2025年06月11日 79 点赞 0 评论 168 浏览

CoGenAV

CoGenAV是一种先进的多模态学习模型，专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练，利用同步音频、视频和文本数据，学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能，适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。

AI项目与工具 2025年06月11日 80 点赞 0 评论 301 浏览

Paper2Poster

Paper2Poster是由加拿大滑铁卢大学、新加坡国立大学等机构推出的学术框架，基于多模态自动化技术从科学论文生成海报。它通过Parser、Planner和Painter–Commenter系统实现内容压缩、布局优化和视觉质量提升，支持将长篇论文转化为结构化视觉海报。Paper2Poster引入PaperQuiz评估方法，确保海报有效传达核心内容，提高生成效率，适用于学术会议、报告、科研展示及教

AI项目与工具 2025年06月11日 34 点赞 0 评论 233 浏览

EVI 3

EVI 3是Hume AI推出的全新语音语言模型，能够同时处理文本和语音标记，实现自然、富有表现力的语音交互。它支持高度个性化，根据用户提示生成任何声音和个性，并实时调节情感和说话风格。在与GPT-4o等模型的对比中，EVI 3在情感理解、表现力、自然度和响应速度等方面表现更优，具备低延迟响应能力，可在300毫秒内生成语音回答。EVI 3适用于智能客服、语音助手、教育辅导、情感支持和内容创作等多个

AI项目与工具 2025年06月11日 45 点赞 0 评论 384 浏览

Mobvoi MCP Server

Mobvoi MCP Server是出门问问推出的一站式AI工具，集成语音生成、声音克隆、图片驱动数字人、视频配音等多模态能力。用户可通过简单输入文本调用功能，支持多客户端和多场景应用。基于标准化接口和开源生态，提供高效、灵活的数字生产力解决方案，适用于内容创作、虚拟主播、在线教育等多个领域。

AI项目与工具 2025年06月11日 82 点赞 0 评论 199 浏览

FLUX.1 Kontext

FLUX.1 Kontext是由Black Forest Labs推出的图像生成与编辑模型，支持上下文感知的图像处理。它基于文本和图像提示进行生成与编辑，具备对象修改、风格转换、背景替换、角色一致性保持和文本编辑等功能。FLUX.1 Kontext Pro版本支持快速迭代编辑，Kontext Max版本在提示词遵循和排版生成方面表现优异，而dev开源版本适合定制化开发。

AI项目与工具 2025年06月11日 15 点赞 0 评论 127 浏览

SignGemma

SignGemma是由谷歌DeepMind团队开发的全球最强大的手语翻译AI模型，专注于将美国手语（ASL）实时翻译成英语文本。通过多模态训练方法，结合视觉和文本数据，实现高准确率和低延迟的翻译，响应时间低于0.5秒。支持端侧部署，保护用户隐私，适用于教育、医疗和公共服务等场景。

AI项目与工具 2025年06月11日 24 点赞 0 评论 298 浏览