多模态

1. 首页
2. 多模态

VideoRAG

VideoRAG是一种基于检索增强生成（RAG）技术的工具，旨在提升长视频的理解能力。它通过提取视频中的多模态信息（如OCR、ASR和对象检测），并将其与视频帧和用户查询结合，增强大型视频语言模型的处理效果。该技术轻量高效，易于集成，适用于视频问答、内容分析、教育、媒体创作及企业知识管理等多个领域。

AI项目与工具 2025年06月12日 75 点赞 0 评论 302 浏览

LaDeCo

LaDeCo是一款基于多模态模型的自动化图形设计工具，通过分层规划与逐步生成的方式，实现从多模态输入到高质量设计输出的转换。其核心功能涵盖层规划、层级设计生成、分辨率调整、元素填充及多样化设计输出，广泛适用于设计师、研究人员、评估人员及开发者等群体，助力提升设计效率与质量。

AI项目与工具 2025年06月12日 53 点赞 0 评论 302 浏览

AgentScope

AgentScope是一个由阿里巴巴集团开源的多智能体开发平台，支持构建和部署复杂的多智能体应用。它提供易用的拖拽式界面、实时监控和丰富的开发资源，涵盖聊天、图像生成、文本嵌入等任务。AgentScope具备高鲁棒性、分布式支持及容错机制，同时支持多模态数据处理和外部知识库的整合，适用于智能助手、客户服务、软件工程、社会模拟和教育培训等多个应用场景。

AI项目与工具 2025年06月12日 59 点赞 0 评论 303 浏览

Chinese

Chinese-LiPS是由智源研究院与南开大学联合开发的高质量中文多模态语音识别数据集，包含100小时语音、视频及手动转录文本。其创新性融合唇读视频与幻灯片内容，显著提升语音识别性能，实验表明可降低字符错误率约35%。适用于教学、科普、虚拟讲解等复杂语境，为多模态语音识别研究提供丰富数据支持。

AI项目与工具 2025年06月11日 47 点赞 0 评论 303 浏览

V-JEPA

创新的自监督学习模型，它通过预测视频帧的特征表示来学习视频的视觉表示。这种方法不仅能够处理视频内容，还能在图像任务上表现出色，具有广泛的应用潜力。

Ai平台模型 1970年01月01日 0 点赞 0 评论 304 浏览

M2UGen

M2UGen是由腾讯PCG ARC实验室与新加坡国立大学共同研发的一款多模态音乐理解和生成框架，支持从文本、图像、视频等多种模态输入生成相应音乐。它具有强大的音乐理解能力、灵活的音乐编辑功能以及多样化的应用场景，适用于音乐制作、影视配乐、音乐教育等多个领域。凭借其创新的技术架构和卓越的表现力，M2UGen已成为当前最优秀的多模态音乐生成工具之一。

AI项目与工具 2025年06月12日 51 点赞 0 评论 306 浏览

讯飞星火X1

讯飞星火X1是科大讯飞推出的基于全国产算力平台训练的大型语言模型，具备深度推理和“慢思考”能力，适用于数学、代码、逻辑推理、文本生成等任务。支持快慢思考统一模型，部署简便，算力需求低。广泛应用于教育、医疗、健康管理等领域，提供精准的智能服务与解决方案。

AI项目与工具 2025年06月12日 99 点赞 0 评论 306 浏览

ImageBind

ImageBind是由Meta公司开发的开源多模态AI模型，能够整合文本、音频、视觉、温度和运动数据等多种模态的信息，并将其统一到一个嵌入空间中。该模型通过图像模态实现其他模态数据的隐式对齐，支持跨模态检索和零样本学习。它在增强现实（AR）、虚拟现实（VR）、内容推荐系统、自动标注和元数据生成等领域有广泛应用。

AI项目与工具 2025年06月12日 16 点赞 0 评论 307 浏览

BioMedGPT

BioMedGPT-R1是由清华大学AI产业研究院与北京水木分子生物科技联合开发的多模态生物医药开源大模型。基于DeepSeek R1技术，实现生物模态（如分子、蛋白质）与自然语言的统一融合，支持跨模态问答与深度推理。该模型在药物分子理解、靶点挖掘等领域表现优异，适用于药物设计、临床前研究及医学文本分析等多种场景，具备较高的文本推理能力和多模态处理能力。

AI项目与工具 2025年06月12日 95 点赞 0 评论 307 浏览

灵犀 X2

灵犀 X2 是智元机器人推出的双足人形机器人，具备 28 个自由度和高灵活性，可完成跳舞、奔跑、骑车等复杂动作。搭载 Diffusion 动作生成引擎和多模态交互系统，支持情感识别与毫秒级响应。适用于家庭服务、教育、医疗护理、工业协作及娱乐场景，具备强大的环境感知与任务执行能力。

AI项目与工具 2025年06月12日 43 点赞 0 评论 309 浏览