多模态

1. 首页
2. 多模态

SpatialLM

SpatialLM 是一款由群核科技推出的开源空间理解多模态模型，能通过分析普通手机拍摄的视频生成详细的 3D 场景布局，涵盖房间结构、家具摆放等信息。它结合大语言模型与点云重建技术，实现空间认知与语义标注，并支持低成本数据采集。该模型适用于具身智能训练、AR/VR、建筑设计等多个领域，具备物理规则嵌入和结构化场景生成能力。

AI项目与工具 2025年06月12日 82 点赞 0 评论 547 浏览

VideoLLaMA3

VideoLLaMA3 是阿里巴巴开发的多模态基础模型，支持视频与图像的深度理解和分析。基于 Qwen 2.5 架构，结合先进视觉编码器与语言生成能力，具备高效时空建模与多语言处理能力。适用于视频内容分析、视觉问答、字幕生成等场景，提供多种参数版本，支持灵活部署。

AI项目与工具 2025年06月12日 87 点赞 0 评论 554 浏览

EmoLLM

EmoLLM 是一款基于多模态技术的心理健康支持工具，能通过文本、图像和视频分析用户情绪，提供情绪识别、心理辅导和情感支持。其核心包括多视角视觉投影、情感引导提示和指令微调技术，支持个性化辅导、角色扮演及多轮对话，适用于心理健康评估与干预场景。

AI项目与工具 2025年06月12日 60 点赞 0 评论 556 浏览

飞书知识问答

飞书知识问答是一款基于AI技术的企业级知识管理工具，支持多数据源接入与实时搜索，提供结构化答案生成、智能问答、标准问答库管理等功能。支持多模态回答，兼容多种AI模型，适用于知识管理、智能客服、团队协作等场景，提升信息处理效率与准确性。

AI项目与工具 2025年06月12日 59 点赞 0 评论 560 浏览

UniTok

UniTok是由字节跳动联合高校研发的统一视觉分词器，支持视觉生成与理解任务。其采用多码本量化技术，将视觉特征分割并独立量化，显著提升离散token的表示能力。在ImageNet上实现78.6%的零样本分类准确率，图像重建质量达0.38。可作为多模态大语言模型的视觉输入模块，广泛应用于图像生成、视觉问答、内容创作及跨模态检索等场景。

AI项目与工具 2025年06月11日 22 点赞 0 评论 564 浏览

Eagle 2.5

Eagle 2.5 是一款由英伟达开发的视觉语言模型，专注于长上下文多模态学习，具备处理高分辨率图像和长视频序列的能力。其参数规模为 8B，但性能接近更大模型。采用信息优先采样和渐进式后训练策略，提升模型稳定性与适应性。支持多样任务，适用于视频分析、图像处理、内容创作及教育等多个领域。

AI项目与工具 2025年06月11日 59 点赞 0 评论 565 浏览

UniToken

UniToken 是一种面向多模态理解与生成任务的自回归模型，结合了离散与连续视觉表示，实现对图像语义与细节的全面捕捉。它支持图文理解、图像生成、多模态对话、复杂指令执行等多种任务，并具备细粒度视觉处理能力。适用于内容创作、智能客服、教育、医疗及自动驾驶等多个领域。

AI项目与工具 2025年06月11日 67 点赞 0 评论 568 浏览

LMEval

LMEval是谷歌推出的开源框架，用于简化大型语言模型（LLMs）的跨提供商评估。它支持多模态（文本、图像、代码）和多指标评估，兼容Google、OpenAI、Anthropic等主流模型提供商。LMEval基于增量评估引擎，节省时间和计算资源，并通过自加密的SQLite数据库安全存储评估结果。LMEvalboard提供交互式可视化界面，帮助用户分析模型性能并直观比较不同模型的优缺点。

AI项目与工具 2025年06月11日 27 点赞 0 评论 569 浏览

BAGEL

BAGEL是字节跳动开源的多模态基础模型，拥有140亿参数，采用混合变换器专家架构（MoT），通过两个独立编码器捕捉图像的像素级和语义级特征。它能够进行图像与文本融合理解、视频内容理解、文本到图像生成、图像编辑与修改、视频帧预测、三维场景理解与操作、世界导航以及跨模态检索等任务。BAGEL在多模态理解基准测试中表现优异，生成质量接近SD3，并适用于内容创作、三维场景生成、可视化学习和创意广告生成等

AI项目与工具 2025年06月11日 92 点赞 0 评论 570 浏览

觅果·Migo

觅果·Migo 是一款基于 AI 技术的学习与研究平台，支持多模态内容处理，涵盖文本、图像和数据。提供智能问答、网页辅读、文献分析、学术写作、化学辅助等功能，适用于科研、学习与内容创作。用户可通过云端访问，实现多设备无缝切换，提升信息处理与知识管理效率。

AI项目与工具 2025年06月11日 45 点赞 0 评论 572 浏览