多模态

1. 首页
2. 多模态

OmAgent

OmAgent是由Om AI与浙江大学滨江研究院联合开发的多模态语言代理框架，支持文本、图像、视频等多种输入形式，简化设备端智能代理的开发流程。它具备高效模型集成、灵活算法接口和复杂任务处理能力，适用于视频监控、内容推荐、教育辅助等场景，提升设备智能化水平和用户体验。

AI项目与工具 2025年06月12日 97 点赞 0 评论 864 浏览

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集，包含500个第一人称视角视频，涵盖77种日常活动，支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务，测试模型对长时间视频内容的信息识别与综合能力，推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制，使其成为学术研究的重要工具。

AI项目与工具 2025年06月12日 77 点赞 0 评论 864 浏览

DiTCtrl

DiTCtrl是一种基于多模态扩散变换器架构的视频生成工具，能够利用多个文本提示生成连贯且高质量的视频内容，无需额外训练即可实现零样本多提示视频生成。它通过KV共享和潜在混合策略优化不同提示间的平滑过渡，同时在MPVBench基准上表现出色，适用于电影、游戏、广告及新闻等多个领域。

AI项目与工具 2025年06月12日 18 点赞 0 评论 863 浏览

异世界回响

异世界回响是一款基于人工智能的社交平台，用户可与虚拟角色进行沉浸式交流。平台支持自定义角色形象与声音，提供AIGC工具创建独一无二的角色，并具备数字分身功能。主要面向寻求创新社交体验、情感陪伴以及对AI技术感兴趣的人群。

AI项目与工具 2025年06月12日 28 点赞 0 评论 859 浏览

MVoT

MVoT是一种多模态推理框架，通过生成图像形式的推理痕迹，增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制，有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域，具有广泛的应用潜力。

AI项目与工具 2025年06月12日 57 点赞 0 评论 858 浏览

文心大模型4.5 Turbo

文心大模型4.5 Turbo是百度推出的高性能、低成本多模态大模型，支持文本、图像、视频等多种输入形式，具备强大的逻辑推理与去幻觉能力，可辅助代码编写。相比前代产品，其速度更快、成本更低，适用于内容创作、智能客服、电商营销、教育及办公自动化等多个场景，已在文心一言平台上线。

AI项目与工具 2025年06月11日 19 点赞 0 评论 857 浏览

CogVideo

目前最大的通用领域文本生成视频预训练模型，含94亿参数。CogVideo将预训练文本到图像生成模型（CogView2）有效地利用到文本到视频生成模型，并使用了多帧率分层训练策略。

Ai平台模型 2025年06月05日 16 点赞 0 评论 857 浏览

OmniAudio

OmniAudio-2.6B是一款专为边缘设备设计的高性能音频语言模型，具备语音识别、转录、问答、对话生成及内容创作等核心功能。其技术优势在于多模态架构的高效集成、稀疏性利用以及三阶段训练流程，支持FP16和Q4_K_M量化版本，确保在资源受限的环境下仍能稳定运行。OmniAudio-2.6B可应用于智能助手、车载系统、会议记录、教育和医疗等多个领域，为用户提供便捷、高效的语音交互体验。

AI项目与工具 2025年06月12日 95 点赞 0 评论 856 浏览

Cradle

一个通用计算机控制的多模态AI框架，它可以使AI Agent能够像人类一样，能够直接控制键盘和鼠标，实现与任意开源代码或闭源代码软件的交互。

Ai开源项目 2025年06月05日 46 点赞 0 评论 854 浏览

讯飞智能交互机

讯飞智能交互机是一款基于AI技术的交互设备，支持多模态感知与多维表达，提供沉浸式虚拟人交互体验。用户可自定义虚拟人形象和语音，接入讯飞星火大模型以增强交互能力。广泛应用于智能客服、导览讲解、政务服务等领域，提升服务效率与用户体验。

AI项目与工具 2025年06月12日 10 点赞 0 评论 854 浏览