自动驾驶
VideoWorld
VideoWorld是由北京交通大学、中国科学技术大学与字节跳动合作开发的深度生成模型,能够通过未标注视频数据学习复杂知识,包括规则、推理和规划能力。其核心技术包括自回归视频生成、潜在动态模型(LDM)和逆动态模型(IDM),支持长期推理和跨环境泛化。该模型在围棋和机器人控制任务中表现优异,且具备向自动驾驶、智能监控等场景扩展的潜力。
OpenVision
OpenVision是加州大学圣克鲁兹分校推出的多模态视觉编码器系列,具备从5.9M到632.1M参数的多种模型,适用于不同硬件环境。其采用渐进式多阶段分辨率训练策略,训练效率比同类模型高2至3倍,在多模态任务中表现优异。支持可变大小patch输入,兼具灵活性与高效性,广泛应用于工业检测、机器人视觉、自动驾驶及科研教育等领域。
GameFactory
GameFactory 是由香港大学与快手科技联合研发的AI框架,专注于解决游戏视频生成中的场景泛化问题。它基于预训练视频扩散模型,结合开放域数据与高质量游戏数据,通过多阶段训练实现动作可控的多样化场景生成。具备高精度动作控制、交互式视频生成及丰富场景支持,适用于游戏开发、自动驾驶模拟及具身智能研究等领域。
DynamicCity
DynamicCity是由上海AI Lab开发的大规模动态场景生成框架,支持高质量4D LiDAR场景的生成与重建,适用于自动驾驶、机器人导航、虚拟现实等多个领域。该框架基于VAE和DiT模型,实现高效的场景编码与生成,支持轨迹引导、指令驱动生成和动态修复等多种应用,展现出优异的性能和广泛的应用潜力。
Free Video
Free Video-LLM是一种无需训练的高效视频语言模型,基于提示引导的视觉感知技术,可直接对视频内容进行理解和推理,适用于视频问答、内容分析等多种场景。通过时空采样优化和减少视觉标记,它在保持高性能的同时显著降低了计算复杂度。
