虚拟现实

SynCamMaster

SynCamMaster是一款由多家顶尖高校与企业联合研发的多视角视频生成工具,支持从任意视点生成高质量开放世界视频。其核心技术包括结合6自由度相机姿态、多视图同步模块以及预训练文本到视频模型的增强版本。SynCamMaster不仅能在不同视角间保持动态同步,还能实现新视角下的视频合成与渲染,广泛应用于影视制作、游戏开发、虚拟现实及监控系统等领域。

DynamicCity

DynamicCity是由上海AI Lab开发的大规模动态场景生成框架,支持高质量4D LiDAR场景的生成与重建,适用于自动驾驶、机器人导航、虚拟现实等多个领域。该框架基于VAE和DiT模型,实现高效的场景编码与生成,支持轨迹引导、指令驱动生成和动态修复等多种应用,展现出优异的性能和广泛的应用潜力。

Fancy123

Fancy123是一种基于深度学习的3D网格生成工具,利用单张图像生成高质量3D模型。其核心技术包括多视图扩散模型、大型重建模型、外观增强模块、保真度增强模块及反投影操作,能够有效解决多视图图像的局部不一致问题,提升网格保真度和清晰度。该工具适用于虚拟现实、游戏开发、影视制作等多个领域,具备高度灵活性和实用性。

Stable Video 3D (SV3D)

Stable Video 3D(SV3D)是一款由Stability AI公司开发的多视角合成和3D生成模型,能够从单张图片生成一致的多视角图像,并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进,提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展,能够生成逼真且一致的视图,提升

SwiftBrush V2

SwiftBrush V2 是一款基于文本到图像的单步扩散模型,通过改进权重初始化、LoRA训练及夹紧CLIP损失等技术,实现了与多步Stable Diffusion模型相媲美的性能。它无需真实图像数据即可训练,显著提升了生成速度和图像质量,广泛应用于艺术创作、游戏开发、虚拟现实等领域。

Depth Pro

Depth Pro 是一款由苹果公司开发的先进单目深度估计模型,能够在不到一秒的时间内从单张2D图像生成高分辨率的3D深度图。它支持零样本学习,无需依赖相机内参即可提供度量级深度信息,并在细节捕捉方面表现出色。Depth Pro 在增强现实、3D重建、图像编辑、机器人导航和自动驾驶等领域展现出广泛的应用前景。

IMAGDressing

IMAGDressing是一款由华为与腾讯合作开发的AI换衣工具,支持用户通过模块化方式设计服装并在虚拟环境中试穿。该工具集成了多种先进技术,包括3D建模、图形渲染、物理模拟、用户交互、机器学习和虚拟现实技术,能够实现高度逼真的虚拟试衣效果。IMAGDressing适用于电子商务、时尚设计、虚拟时尚秀和社交媒体等多种应用场景,能够提高用户体验和工作效率。

AutoVFX

AutoVFX是一款由伊利诺伊大学香槟分校研发的先进物理特效框架,通过神经场景建模、大型语言模型(LLM)代码生成及物理模拟技术,实现自然语言指令驱动的视频特效编辑与创作。其主要功能涵盖3D场景建模、程序生成、VFX模块、物理模拟、渲染与合成等,适用于电影制作、广告营销、游戏开发、虚拟现实及教育等多个领域。

StereoCrafter

StereoCrafter是一款由腾讯AI Lab与ARC Lab联合开发的创新性工具,可将传统2D视频转化为高质量的立体3D视频。它采用深度估计、视频变形及立体视频修复等关键技术,确保生成的3D视频具备高保真度和一致性。该工具广泛应用于影视制作、虚拟现实(VR)、增强现实(AR)、游戏开发等领域,为用户提供更加沉浸式的视觉体验。

RegionDrag

RegionDrag是一种基于区域的图像编辑技术,由香港大学和牛津大学联合开发。该技术利用扩散模型,让用户通过定义手柄区域和目标区域来实现快速且精确的图像编辑。RegionDrag在单次迭代中完成编辑任务,显著减少编辑时间,同时采用注意力交换技术增强编辑的稳定性和自然性。主要应用领域包括数字艺术与设计、照片编辑、虚拟现实、游戏开发以及电影和视频制作等。