多模态

LazyLLM

LazyLLM 是一款开源的低代码平台,用于高效构建多智能体大语言模型应用。它支持低代码开发、多智能体架构、模型微调、一键部署、跨平台运行及多模态扩展等功能,适用于聊天机器人、RAG、故事创作和AI绘画等多种场景。其核心采用数据流驱动和模块化设计,提升开发效率和灵活性。

LAM

LAM是由微软开发的大型行动模型,能够理解和执行真实世界中的操作任务。它不仅能解析用户输入,还能生成具体行动指令,如启动程序或控制设备。LAM在Office等Windows应用中表现出色,任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力,适用于办公自动化、智能家居、客户服务等多个场景,显著提升任务执行效率和智能化水平。

Hummingbird

Hummingbird-0 是一款基于深度学习的 AI 口型同步工具,支持零样本学习,无需额外训练即可快速生成高质量口型同步视频。它兼容多种格式,支持最长 5 分钟视频处理,1 分钟内生成 10 秒视频,适用于影视制作、广告、本地化翻译及 AI 内容创作等场景。通过多模态融合技术,实现音频与视频的精准匹配,提升内容表现力。

谷觅AI

支持AI文章自动生成,谷觅AI提供自动写作和批量创作能力,AI写作生成器系统工具。

Ultravox

Ultravox 是一种多模态大型语言模型(LLM),能够直接处理文本和语音输入,无需额外的语音识别步骤。其核心技术包括多模态投影器,用于将音频数据转换为高维空间表示,显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习,适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。

MultiFoley

MultiFoley是一款基于多模态控制的音效生成系统,能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成,同时具备音频扩展和质量控制功能,广泛应用于电影、游戏、动画及虚拟现实等领域,为用户提供灵活且高效的声音设计解决方案。

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型,专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述,结合对比学习方法,实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色,准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

理想同学

理想同学是一款基于AI技术打造的智能助手,集成了知识问答、视觉识别、绘画创作和播客等多种功能。它支持多领域的信息查询、语言翻译、文本生成及视觉分析,通过跨平台协作实现数据同步与连续对话。此外,用户可根据需求选择不同模型以优化推理能力,广泛适用于日常生活、学习和工作场景。

LatentLM

LatentLM是一款由微软与清华大学合作开发的多模态生成模型,能够统一处理文本、图像、音频等多种数据类型。它基于变分自编码器(VAE)和因果Transformer架构,支持自回归生成与跨模态信息共享,特别擅长图像生成、多模态语言模型及文本到语音合成等任务,其提出的σ-VAE进一步提升了模型的鲁棒性。

达闼RobotGPT多模态大模型

达闼RobotGPT多模态大模型是一个创新的AI工具,它通过整合多模态数据处理能力,为机器人在多样化的应用场景中提供了强大的交互和行为生成能力。