虚拟现实

SAM2Point

SAM2Point是一种基于SAM2的3D分割技术,无需额外训练或2D-3D投影,即可直接对任意3D数据进行零样本分割。该工具通过将3D数据体素化,并将其模拟为多方向视频流,实现精确的空间分割。SAM2Point支持多种3D提示类型,如点、框和掩码,展现了在多种场景下的泛化能力,包括3D物体、室内室外环境以及LiDAR数据,为未来的3D可提示分割研究提供了新起点。

Sapiens

Sapiens是由Meta实验室开发的AI视觉模型,主要用于解析图片和视频中的人类动作。它支持2D姿态估计、身体部位分割、深度估计和表面法线预测等功能,采用视觉变换器架构。Sapiens具有强大的泛化能力,适用于虚拟现实、增强现实、3D人体数字化、人机交互、视频监控分析、运动捕捉及医学成像与康复等多个领域。

HunyuanPortrait

HunyuanPortrait是由腾讯Hunyuan团队联合多所高校推出的基于扩散模型的肖像动画生成工具。它能够根据一张肖像图片和视频片段,生成高度可控且逼真的动画,保持身份一致性并捕捉细微表情变化。该工具在时间一致性和泛化能力方面表现优异,适用于虚拟现实、游戏、人机交互等多个领域。

Move AI

Move AI 是一款基于AI和计算机视觉的无标记动作捕捉工具,可将普通摄像头拍摄的2D视频转换为高精度3D运动数据。支持实时追踪、多摄像头配置及多种格式导出,适用于影视、游戏、体育分析、VR/AR等领域,提供高效、低成本的解决方案。

MVoT

MVoT是一种多模态推理框架,通过生成图像形式的推理痕迹,增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制,有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域,具有广泛的应用潜力。

WorldCraft

WorldCraft是一款基于大型语言模型的3D世界创建系统,支持用户通过自然语言交互快速生成和调整虚拟场景。其核心模块包括物体定制、场景布局优化和轨迹控制,具备高精度的几何与纹理控制能力。系统兼容多种3D生成工具,适用于建筑设计、影视娱乐、教育等多个领域,为非专业人士提供高效、直观的创意设计解决方案。

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具,可生成高质量、自然的说话人头部视频。支持多信号控制(如音频、表情),采用并行 Mamba 结构和门控机制,实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异,适用于虚拟主播、远程会议、在线教育等多种场景。

SOLAMI

SOLAMI是一款基于VR环境的3D角色扮演AI系统,支持用户通过语音和肢体语言与虚拟角色进行沉浸式互动。系统采用社交视觉-语言-行为模型(Social VLA),可识别用户的多模态输入并生成相应响应,涵盖多种角色类型及互动场景,如游戏、舞蹈等。其核心技术涉及多任务预训练和指令微调,适用于虚拟社交、教育、心理治疗及娱乐等多个领域。

World Labs

李飞飞联合创办的空间智能初创企业。World,Labs致力于构建能够感知、生成并与3D世界互动的大型世界模型,将AI模型从2D像素的平面提升到完整的3D世界。

Janus

Janus是一种由DeepSeek AI开发的自回归框架,专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能,支持多种输入模态如图像、文本等,并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力,适用于图像创作、自动标注、视觉问答等多个领域。