3D

紫东太初大模型

紫东太初,中科院自动化所和武汉人工智能研究院推出新一代大模型,从三模态走向全模态,支持多轮问答、文本创作、图像生成、3D理解、信号分析等全面问答任务,拥有更强的认知、理解、创作能力,带来全新互动体验。

OpenEMMA

OpenEMMA是一个开源的端到端自动驾驶多模态模型框架,基于预训练的多模态大型语言模型(MLLMs),能够处理视觉数据和复杂驾驶场景的推理任务。它通过链式思维推理机制提升轨迹规划和感知任务性能,并集成了优化的YOLO模型以提高3D边界框预测的准确性。此外,OpenEMMA支持人类可读的输出,适用于多种驾驶环境,包括城市道路、高速公路、夜间及复杂天气条件下的驾驶。

MeshPad

MeshPad 是一款基于草图输入的交互式 3D 网格生成与编辑工具,可将二维草图快速转化为高质量三维模型并支持实时修改。采用三角形序列表示和 Transformer 模型,实现高效、精准的网格生成与调整。通过推测性预测策略,提升计算效率,缩短编辑时间。生成的网格在精度上优于现有方法,适用于艺术设计、建筑设计和工业设计等多个领域。

One Shot, One Talk

One Shot, One Talk是一项由中国科学技术大学和香港理工大学研究者开发的图像生成技术,它可以从单张图片生成具有个性化细节的全身动态说话头像。该工具支持逼真的动画效果,包括自然的表情变化和生动的身体动作,同时具备对新姿势和表情的泛化能力。One Shot, One Talk结合了姿势引导的图像到视频扩散模型和3DGS-mesh混合头像表示技术,提供了精确的控制能力和高质量的重建效果。

CineMaster

CineMaster是快手推出的3D感知视频生成框架,支持通过文本提示及深度图、相机轨迹等控制信号生成高质量视频内容。其核心功能包括3D物体与摄像机控制、交互式设计、自动化数据标注和高质量视频输出。采用两阶段工作流程与扩散模型技术,结合语义布局控制网络与摄像机适配器,提升视频生成的精确度与灵活性。适用于影视制作、广告营销、游戏开发等多个领域。

CAVIA

CAVIA是一款由苹果、得克萨斯大学奥斯汀分校和谷歌联合研发的多视角视频生成框架。它通过单一输入图像生成多个时空一致的视频序列,并采用视角集成注意力模块增强视频的一致性和连贯性,支持用户精准控制相机运动。此外,CAVIA利用多种数据源进行联合训练,优化生成视频的质量和真实感,在虚拟现实、增强现实以及电影制作等领域具有重要价值。

Edify 3D

Edify 3D 是 NVIDIA 推出的一款高效3D资产生成工具,能够从文本或图像输入快速生成高质量的3D模型。其主要功能包括支持文本到3D、图像到3D的转换,生成高分辨率纹理与 PBR 材质,并具备快速生成、UV贴图和材质图生成等特性。该工具通过多视图扩散模型、Transformer 模型及跨视图注意力机制实现精准建模,适用于游戏开发、虚拟现实、影视制作及建筑可视化等多个领域。

MotionFix

MotionFix是一个开源的3D人体动作编辑工具,采用自然语言描述与条件扩散模型TMED相结合的方式,支持通过文本指令精准编辑3D人体动作。其主要功能包括文本驱动的动作编辑、半自动数据集构建、多模态输入处理及基于检索的评估指标。MotionFix适用于动画制作、游戏开发、虚拟现实等多个领域,为动作编辑提供了灵活性与精确性。

Genmo

Genmo是一个创造和分享交互式、沉浸式生成艺术的平台。通过创建视频、3D场景、动画、矢量设计资产等,超越Genmo上的2D图像。

新壹视频大模型

新壹视频大模型是一款AI驱动的视频创作平台,具备自动生成剧本、情感化语音合成、3D元素生成和高清视频输出等功能。该平台通过集成自主研发的AI算法和深度学习技术,简化了视频创作流程,提高了制作效率,降低了成本,同时提升了视频的整体质量和用户体验。其应用场景广泛,涵盖教育、医疗、文化旅游、金融管理和广电传媒等多个领域。