多模态
  1. 首页
  2. 多模态

列表

MM

MM

MM-StoryAgent是由上海交通大学X-LANCE实验室与阿里巴巴集团联合开发的开源多模态、多智能体框架，用于生成沉浸式有声故事绘本视频。它结合大型语言模型与多模态生成技术，通过多阶段写作流程和模态对齐优化，提升故事内容的质量与连贯性。支持灵活模块化设计，适用于儿童教育、数字内容创作、在线教育等多个场景，为故事创作提供高效、可定制的解决方案。
AI项目与工具 2025年06月12日
LatentLM

LatentLM

LatentLM是一款由微软与清华大学合作开发的多模态生成模型，能够统一处理文本、图像、音频等多种数据类型。它基于变分自编码器（VAE）和因果Transformer架构，支持自回归生成与跨模态信息共享，特别擅长图像生成、多模态语言模型及文本到语音合成等任务，其提出的σ-VAE进一步提升了模型的鲁棒性。
AI项目与工具 2025年06月12日
纳米搜索

纳米搜索

纳米搜索是一款由360集团开发的多功能AI搜索引擎，支持文字、语音、拍照和视频等多种搜索方式，涵盖从简单到复杂的全方位解答方案。它整合了16款顶尖大模型能力，配备了智能工具，如写作、翻译和旅游规划助手，旨在提升多场景下的操作效率。此外，其独特的AI脱口秀功能，能将搜索结果转化为视频内容，为用户提供更直观的知识获取体验。
AI项目与工具 2025年06月12日
Agno

Agno

Agno是一款轻量级智能代理开发框架，支持多模态输入与多代理协作，具备快速创建代理、模型无关性、内存管理及知识库支持等功能。其基于Python实现，架构简洁，兼容性强，适用于智能客服、内容推荐、教育、医疗及办公等多个场景。Agno提供结构化输出与实时监控，便于系统集成与性能优化。
AI项目与工具 2025年06月12日
interface.ai

interface.ai

interface.ai 是一款面向金融领域的AI解决方案平台，其核心产品 Sphere 提供多模态交互支持，涵盖文本、图像、音频及视频。Sphere 可自动化处理金融业务流程，实时分析对话内容，并为用户提供个性化产品推荐和升级销售建议，从而提升用户体验和机构运营效率。
AI项目与工具 2025年06月12日
MiniMind

MiniMind

MiniMind 是一款轻量级开源语言模型项目，具备极低的训练成本和高效的训练流程。其最小模型仅需 25.8M 参数，可在普通 GPU 上运行，支持多模态能力，如视觉语言模型 MiniMind-V。项目提供完整的训练代码，涵盖预训练、微调、LoRA、DPO 和模型蒸馏，兼容主流框架，适合初学者和开发者快速上手并应用于多个领域。
AI项目与工具 2025年06月12日
Finedefics

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型，专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述，结合对比学习方法，实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色，准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。
AI项目与工具 2025年06月12日
MM1.5

MM1.5

MM1.5是苹果公司研发的多模态大型语言模型，具备强大的文本与图像理解能力，包括视觉指代、定位及多图像推理功能。它通过数据驱动的训练方法，实现了从1B到30B参数规模的性能提升，并推出了视频和移动UI专用版本，为多模态AI技术发展提供重要参考。主要应用场景涵盖图像与视频理解、视觉搜索、辅助驾驶、智能助手及教育领域。
AI项目与工具 2025年06月12日
Spirit LM

Spirit LM

Spirit LM 是一种由 Meta AI 开发的多模态语言模型，能够处理文本和语音数据，支持跨模态学习。其基础版（BASE）和表达版（EXPRESSIVE）分别侧重于语义理解和情感表达。Spirit LM 可用于自动语音识别（ASR）、文本到语音（TTS）、语音分类及情感分析等任务，在语音助手、语音转写、有声读物等领域具有广泛应用前景。
AI项目与工具 2025年06月12日
CogView

CogView

CogView-3-Plus是智谱AI研发的AI文生图模型，采用Transformer架构替代传统的UNet，优化了扩散模型中的噪声规划。它能够根据用户指令生成高质量、高美学评分的图像，支持多种分辨率，并具有实时生成图像的能力。该模型已被集成到“智谱清言”APP中，并提供API服务，适用于艺术创作、游戏设计、广告制作等多个图像生成领域。
AI项目与工具 2025年06月12日