多模态
  1. 首页
  2. 多模态

列表

SignGemma

SignGemma

SignGemma是由谷歌DeepMind团队开发的全球最强大的手语翻译AI模型，专注于将美国手语（ASL）实时翻译成英语文本。通过多模态训练方法，结合视觉和文本数据，实现高准确率和低延迟的翻译，响应时间低于0.5秒。支持端侧部署，保护用户隐私，适用于教育、医疗和公共服务等场景。
AI项目与工具 2025年06月11日

Cradle

Cradle
Cradle
一个通用计算机控制的多模态AI框架，它可以使AI Agent能够像人类一样，能够直接控制键盘和鼠标，实现与任意开源代码或闭源代码软件的交互。
Ai开源项目 2025年06月05日
MT

MT

MT-MegatronLM 是摩尔线程推出的开源混合并行训练框架，支持密集模型、多模态模型和 MoE 模型的高效训练。采用 FP8 混合精度、高性能算子库和集合通信库，提升 GPU 集群算力利用率。通过模型并行、数据并行和流水线并行技术，实现大规模语言模型的高效分布式训练，适用于科研、企业及定制化 AI 应用场景。
AI项目与工具 2025年06月12日
MMaDA

MMaDA

MMaDA（Multimodal Large Diffusion Language Models）是由普林斯顿大学、清华大学、北京大学和字节跳动联合开发的多模态扩散模型，支持跨文本推理、多模态理解和文本到图像生成等多种功能。其采用统一的扩散架构和模态不可知设计，结合混合长链推理微调策略与UniGRPO强化学习算法，提升跨模态任务性能。MMaDA在多项任务中表现优异，适用于内容创作、教育辅助、智能客
AI项目与工具 2025年06月11日
Matrix3D

Matrix3D

Matrix3D 是一种由多所高校与科技企业联合开发的统一摄影测量模型，集姿态估计、深度预测、新视图合成与3D重建于一体。其核心技术为多模态扩散变换器，支持跨模态数据融合与灵活任务处理。通过掩码学习策略，提高数据利用效率并增强模型泛化能力。适用于VR/AR、游戏开发、影视制作等领域，具有高度交互性和灵活性。
AI项目与工具 2025年06月12日
HourVideo

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集，包含500个第一人称视角视频，涵盖77种日常活动，支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务，测试模型对长时间视频内容的信息识别与综合能力，推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制，使其成为学术研究的重要工具。
AI项目与工具 2025年06月12日
Dola

Dola

Dola是一款基于人工智能的日历助手，它允许用户通过多种方式（包括文字、语音和图片）与主要的即时通讯软件交互，以高效地创建和管理日程事件。Dola具备自然语言理解和日历同步功能，能够自动识别并添加日程，支持跨平台同步，并在事件开始前发送提醒。此外，它还提供群组管理功能，适合团队和组织使用。Dola简化了日程管理流程，提升了个人和团队的工作效率。
AI项目与工具 2025年06月12日
Gemini 2.0 Pro

Gemini 2.0 Pro

Gemini 2.0 Pro是Google推出的高性能AI模型，具备200万tokens的上下文窗口，支持复杂任务处理、多语言理解和代码生成。它能调用外部工具如Google搜索和代码执行环境，提升信息获取与问题解决能力。适用于编程辅助、数据分析、学术研究、教育及创意内容生成等多个领域，是当前Google系列模型中的佼佼者。
AI项目与工具 2025年06月12日
Diff

Diff

Diff-Instruct是一种基于积分Kullback-Leibler散度的知识迁移方法，用于从预训练扩散模型中提取知识并指导生成模型的训练。它能够在无需额外数据的情况下，通过最小化IKL散度提升生成模型的性能。Diff-Instruct适用于多种场景，包括预训练扩散模型的蒸馏、现有GAN模型的优化以及视频生成等。
AI项目与工具 2025年06月12日
FakeShield

FakeShield

FakeShield是一款由北京大学研发的多模态大型语言模型框架，主要用于检测和定位图像篡改。它通过结合视觉与文本信息，生成篡改区域掩码并提供详细的判断依据。其核心模块包括领域标签引导的检测模块和多模态定位模块，支持多种篡改技术的分析，具有较高的准确性与可解释性。FakeShield广泛应用于社交媒体内容审核、法律取证、新闻媒体真实性验证以及版权保护等领域。
AI项目与工具 2025年06月12日