虚拟现实

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具,可生成高质量、自然的说话人头部视频。支持多信号控制(如音频、表情),采用并行 Mamba 结构和门控机制,实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异,适用于虚拟主播、远程会议、在线教育等多种场景。

MotionCLR

MotionCLR是一款利用自注意力和交叉注意力机制的人体动作生成与编辑工具。它能够根据文本提示生成动作,并支持多种编辑操作,如动作强调、减弱、替换、擦除及风格迁移。MotionCLR在动作生成的精度、多样性及编辑灵活性上表现出色,广泛应用于游戏开发、动画制作、虚拟现实等领域。

MVoT

MVoT是一种多模态推理框架,通过生成图像形式的推理痕迹,增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制,有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域,具有广泛的应用潜力。

LeviTor

LeviTor是一款由多所高校和企业联合研发的图像到视频合成工具,它利用深度信息和K-means聚类点来控制视频中3D物体的轨迹,无需显式3D轨迹跟踪。通过高质量视频对象分割数据集训练,该工具能精准捕捉物体运动与交互,支持用户通过简单的2D图像操作实现复杂的3D效果,大幅降低了技术门槛,广泛应用于电影特效、游戏动画、虚拟现实等领域。

Find3D

Find3D是一款由加州理工学院开发的3D部件分割模型,通过自动化数据生成技术和对比学习方法,实现了高效且精准的3D对象分割。它能够在多个数据集上达到三倍于次优方法的性能提升,支持开放世界下的任意文本查询分割,广泛应用于机器人、虚拟现实、建筑设计等领域。

CAT4D

CAT4D是一种由Google DeepMind、哥伦比亚大学及加州大学圣地亚哥分校共同开发的工具,它利用多视图视频扩散模型,从单目视频中生成动态3D(4D)场景表示。该工具可以合成新视图、重建动态3D模型,并支持独立控制相机视点和场景动态,适用于电影制作、游戏开发、虚拟现实等多种领域。

WorldCraft

WorldCraft是一款基于大型语言模型的3D世界创建系统,支持用户通过自然语言交互快速生成和调整虚拟场景。其核心模块包括物体定制、场景布局优化和轨迹控制,具备高精度的几何与纹理控制能力。系统兼容多种3D生成工具,适用于建筑设计、影视娱乐、教育等多个领域,为非专业人士提供高效、直观的创意设计解决方案。

HelloMeme

HelloMeme是一款基于扩散生成技术的框架,专注于表情与姿态迁移。它利用空间编织注意力机制与Stable Diffusion 1.5模型的结合,生成自然且物理合理的表情包视频,同时具备强大的泛化能力和扩展潜力。HelloMeme通过模块化设计实现了高效的表情和姿态迁移,适用于多种应用场景,如社交媒体内容创作、视频娱乐、电影制作、广告营销及教育培训等。

FaceLift

FaceLift是一种由Adobe与加州大学默塞德分校联合开发的AI工具,能够从单张人脸图像中重建出高精度的3D头部模型。其核心技术包括多视图扩散模型和GS-LRM重建器,支持多视角一致性、身份保持和4D新视图合成,适用于虚拟现实、数字娱乐、远程交互等多个领域。该工具具备强大的几何与纹理细节表现能力,且可与2D面部重动画技术集成,广泛应用于内容创作与科研场景。

Cartwheel

Cartwheel 是一款基于文本到动画(Text-to-Motion)技术的 AI 3D 动画生成平台,用户只需输入文本描述即可快速生成高质量的 3D 角色动画。平台结合深度学习与传统动画技术,支持动作捕捉、自动化运动合成,并与主流 3D 软件无缝集成。其功能包括文本驱动动画、可编辑动画、动作库预设等,适用于游戏开发、影视制作、广告营销、VR/AR 及教育等多个场景。Cartwheel 提供不同