ViewExtrapolator

ViewExtrapolator是由南洋理工大学与UCAS研究团队共同开发的一种创新性新视角外推方法，基于稳定视频扩散（Stable Video Diffusion, SVD）生成先验，用于合成超出训练视图范围的新视角图像。该方法通过对SVD去噪过程的优化设计，显著减少了伪影问题，生成更加清晰和真实的视觉效果。此外，ViewExtrapolator无需对SVD进行微调，具备较高的数据和计算效率，适用于多种3D渲染技术。 ViewExtrapolator的核心技术包括引导退火和重采样退火，通过在去噪的不同阶段应用不同程度的引导，有效修复未见区域并提升视觉质量。同时，它利用多视图一致性来生成自然的视频细节，保持原始场景内容的真实性。无论是在辐射场还是点云渲染中，ViewExtrapolator均表现出良好的兼容性和灵活性。 ViewExtrapolator的相关资源包括项目官网（https://kunhao-liu.github.io/ViewExtrapolator/）、GitHub仓库（https://github.com/Kunhao-Liu/ViewExtrapolator）以及技术论文（https://arxiv.org/pdf/2411.14208）。