游戏开发
PartCrafter
PartCrafter是一款先进的3D生成模型,能够从单张RGB图像中生成多个语义明确且几何形态各异的3D网格。通过组合潜在空间表示每个3D部件,并利用层次化注意力机制确保全局一致性。该模型基于预训练的3D网格扩散变换器(DiT),支持多部件联合生成、端到端生成和部件级编辑,适用于游戏开发、建筑设计、影视制作等多个领域。
VideoAgent
VideoAgent是一款基于自改进机制的视频生成系统,结合图像观察与语言指令生成机器人控制视频计划。它采用自我条件一致性方法优化视频质量,通过预训练视觉-语言模型反馈和实际执行数据的收集,持续提升生成效果,减少幻觉内容并提高任务成功率。VideoAgent在模拟环境中有优异表现,并已应用于机器人控制、模拟训练、教育研究、游戏开发以及电影制作等领域,展现出广泛的应用潜力。