VILA-U 是一款由 MIT 汉实验室开发的统一基础模型,整合了视频、图像和语言的理解与生成能力。它通过自回归框架简化模型结构,支持视觉理解、视觉生成、多模态学习和零样本学习等功能。VILA-U 在预训练阶段采用混合数据集,利用残差向量量化和深度变换器提升表示能力,适用于图像生成、内容创作辅助、自动化设计、教育和残障人士辅助等多种场景。
Depth Pro 是一款由苹果公司开发的先进单目深度估计模型,能够在不到一秒的时间内从单张2D图像生成高分辨率的3D深度图。它支持零样本学习,无需依赖相机内参即可提供度量级深度信息,并在细节捕捉方面表现出色。Depth Pro 在增强现实、3D重建、图像编辑、机器人导航和自动驾驶等领域展现出广泛的应用前景。