多模态

LobeChat

LobeChat 是一款开源的 AI 聊天框架,支持多供应商集成,提供知识库管理、多模态交互(视觉识别和文本转语音)、插件扩展等功能。用户可通过一键部署创建私有 AI 聊天服务,并支持文件上传与管理。其应用场景广泛,包括客户服务、个人助理、教育、企业沟通、内容创作和语言学习等领域。

Megrez

Megrez-3B-Omni是一款具备全模态理解能力的开源模型,支持图像、音频和文本的综合处理,具备强大的推理效率和多模态交互功能。它能够在多个权威测试集中展现卓越性能,尤其擅长场景理解、OCR识别及语言生成等任务,同时通过智能WebSearch调用增强问题解答能力,适用于个人助理、智能家居、车载系统等多种应用场景。

纳米搜索

纳米搜索是一款由360集团开发的多功能AI搜索引擎,支持文字、语音、拍照和视频等多种搜索方式,涵盖从简单到复杂的全方位解答方案。它整合了16款顶尖大模型能力,配备了智能工具,如写作、翻译和旅游规划助手,旨在提升多场景下的操作效率。此外,其独特的AI脱口秀功能,能将搜索结果转化为视频内容,为用户提供更直观的知识获取体验。

OmniSearch

OmniSearch是一款由阿里巴巴通义实验室开发的多模态检索增强生成框架,具备自适应规划能力。它能够动态解析复杂问题,根据检索结果和问题情境调整检索策略,模拟人类解决复杂问题的行为,提升检索效率和准确性。OmniSearch支持多模态信息处理,包括文本、图像等,并通过递归检索与推理流程逐步接近问题解答,显著提高多模态检索的灵活性和效果。

NVILA

NVILA是一款由NVIDIA开发的视觉语言模型,通过“扩展-压缩”策略优化处理高分辨率图像和长视频,兼具效率与准确性。它在图像和视频基准测试中表现优异,支持时间定位、机器人导航和医疗成像等应用场景,并通过参数高效微调和量化技术提升模型性能。未来将在GitHub和HuggingFace平台上开源。

Gemini Robotics

Gemini Robotics 是谷歌 DeepMind 基于 Gemini 2.0 开发的机器人系统,融合视觉-语言-动作模型,支持复杂任务执行与环境适应。具备三维空间理解、物体检测、轨迹预测和开放词汇指令执行能力,适用于工业制造、物流仓储、家庭服务、医疗健康等多个领域。系统通过数据驱动训练,结合真实操作与多模态信息,实现高效、灵活的机器人控制。

Project Astra

Project Astra是一款由谷歌DeepMind研发的多模态虚拟助手,支持自然语言和视觉交互。它具备实时对话、记忆功能及工具集成能力,可帮助用户处理日常任务、旅行规划、健康咨询等多种场景需求。当前版本仍在测试中,致力于提升用户体验并保障技术的可靠性。

Spirit LM

Spirit LM 是一种由 Meta AI 开发的多模态语言模型,能够处理文本和语音数据,支持跨模态学习。其基础版(BASE)和表达版(EXPRESSIVE)分别侧重于语义理解和情感表达。Spirit LM 可用于自动语音识别(ASR)、文本到语音(TTS)、语音分类及情感分析等任务,在语音助手、语音转写、有声读物等领域具有广泛应用前景。

Ultravox

Ultravox 是一种多模态大型语言模型(LLM),能够直接处理文本和语音输入,无需额外的语音识别步骤。其核心技术包括多模态投影器,用于将音频数据转换为高维空间表示,显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习,适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。

可灵2.0

可灵2.0是快手推出的AI视频生成模型,支持文生视频和图生视频,具备复杂动态生成、动作流畅性和多模态编辑能力。它能根据用户输入的文字或图片生成高质量视频,提升视频的真实感和沉浸感,适用于影视、广告、教育、游戏等领域,提高创作效率与灵活性。