多模态
  1. 首页
  2. 多模态

列表

Hummingbird

Hummingbird

Hummingbird-0 是一款基于深度学习的 AI 口型同步工具，支持零样本学习，无需额外训练即可快速生成高质量口型同步视频。它兼容多种格式，支持最长 5 分钟视频处理，1 分钟内生成 10 秒视频，适用于影视制作、广告、本地化翻译及 AI 内容创作等场景。通过多模态融合技术，实现音频与视频的精准匹配，提升内容表现力。
AI项目与工具 2025年06月11日
Augmented Physics

Augmented Physics

Augmented Physics是一款基于人工智能的教育工具，旨在通过计算机视觉技术和多模态语言模型，将物理教科书中的静态图表转化为动态交互式模拟，帮助学生更好地理解物理概念。它支持多种仿真类型，包括光学、运动学和电路等，并提供动态可视化和动画效果，同时无需编程技能即可创建仿真。
AI项目与工具 2025年06月12日
MM

MM

MM-StoryAgent是由上海交通大学X-LANCE实验室与阿里巴巴集团联合开发的开源多模态、多智能体框架，用于生成沉浸式有声故事绘本视频。它结合大型语言模型与多模态生成技术，通过多阶段写作流程和模态对齐优化，提升故事内容的质量与连贯性。支持灵活模块化设计，适用于儿童教育、数字内容创作、在线教育等多个场景，为故事创作提供高效、可定制的解决方案。
AI项目与工具 2025年06月12日
Pipecat

Pipecat

Pipecat是一款开源Python框架，用于构建语音和多模态对话系统。它整合了语音识别、文本转语音及对话处理功能，支持与主流AI平台集成，采用模块化管道架构，提升开发效率。基于帧的实时处理机制确保流畅交互，适用于语音助手、企业服务、教育、医疗及多模态应用等多种场景。
AI项目与工具 2025年06月12日
TinyVLA

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作（VLA）模型，专为机器人操控设计。它通过结合多模态模型和扩散策略解码器，实现了快速推理、数据高效和多任务学习的能力，并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域，具有广泛的实用价值。
AI项目与工具 2025年06月12日
LeRobot

LeRobot

LeRobot是一个由HuggingFace开发的开源AI聊天机器人项目，旨在简化机器人技术的学习过程。它提供了预训练模型、数据集和模拟环境，支持模仿学习和强化学习，适用于多种机器人硬件。该项目具有多用途、可扩展的特点，通过提供预训练模型、数据集共享、模拟环境和多功能库等功能，帮助用户加速机器人项目的开发进程。
AI项目与工具 2025年06月12日
Image

Image

Image-01 是一款由 MiniMax 开发的文本到图像生成模型，能够根据文本描述精准生成高质量、高分辨率图像，支持多种纵横比输出。具备优秀的人物与物体渲染能力，适用于艺术创作、广告设计、影视制作等多个领域。支持高效批量生成，单次最多输出 9 张图像，每分钟处理 10 个请求，提升创作效率。采用扩散模型与 Transformer 架构，结合线性注意力与 MoE 技术，确保图像质量与生成效率。
AI项目与工具 2025年06月12日
文心大模型X1

文心大模型X1

文心大模型X1是百度开发的深度思考型AI模型，具备中文知识问答、逻辑推理、文学创作等能力，支持多模态内容生成与工具调用。采用递进式强化学习与端到端训练技术，结合飞桨平台实现高效推理。适用于文学创作、文案生成、学术研究、代码开发等多个领域，提供高性价比的AI服务。
AI项目与工具 2025年06月12日
NoteLLM

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架，支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术，提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制，增强视觉信息处理能力，适用于个性化推荐、冷启动优化及内容创作辅助等场景。
AI项目与工具 2025年06月11日
Gemini 2.0 Flash

Gemini 2.0 Flash

Gemini 2.0 Flash是Google推出的多模态AI模型，支持文本与图像生成及对话式编辑，能根据自然语言生成连贯图像，并保持上下文一致性。其在长文本渲染方面表现优异，适用于广告、社交媒体、教育等领域。开发者可通过Google AI Studio或Gemini API进行测试和集成，广泛应用于创意插图、互动故事、设计辅助等场景。
AI项目与工具 2025年06月12日