一致性

SynCD

SynCD是由卡内基梅隆大学与Meta联合开发的高质量合成训练数据集,用于提升文本到图像模型的定制化能力。它通过生成同一对象在不同视角、光照和背景下的图像,结合共享注意力机制和3D资产引导,确保对象一致性。该数据集支持无调优模型训练,提升图像质量和身份保持能力,广泛应用于个性化内容生成、创意设计、虚拟场景构建等领域。

NutWorld

NutWorld是由新加坡国立大学、南洋理工大学与Skywork AI联合开发的视频处理框架,能够高效地将单目视频转换为动态3D高斯表示(Gaussian Splatting)。它基于时空对齐高斯(STAG)表示法,实现视频的时空连贯建模,支持高保真视频重建和多种下游任务,如新视图合成、视频编辑、帧插值和深度预测。该工具具备实时处理能力,适用于视频创作、AR/VR、自动驾驶等多个领域。

Pippo

Pippo是由Meta Reality Labs研发的图像到视频生成模型,可基于单张照片生成多视角高清人像视频。采用多视角扩散变换器架构,结合ControlMLP模块与注意力偏差技术,实现更丰富的视角生成和更高的3D一致性。支持高分辨率输出及细节自动补全,适用于虚拟现实、影视制作、游戏开发等多个领域。技术方案涵盖多阶段训练流程,确保生成质量与稳定性。

AuraFusion360

AuraFusion360是一款面向360°无边界场景修复的AI工具,采用高斯散射表示和深度感知技术,实现高质量的物体移除与孔洞填充。其核心包括自适应引导深度扩散(AGDD)和基于SDEdit的细节增强,确保多视角一致性。适用于虚拟现实、建筑可视化、影视特效及文物修复等多个领域,提供高效、精确的场景修复解决方案。

ConsistentDreamer

ConsistentDreamer 是由华为慕尼黑研究中心开发的图像到 3D 资产生成技术,能通过单张图像生成多视图一致的 3D 网格。该技术采用多视图先验图像引导和分数蒸馏采样优化,结合动态权重平衡和多种损失函数,提升 3D 表面质量和纹理精度。支持复杂场景编辑、风格转换、物体修改等功能,适用于室内场景、艺术风格转换及跨视图一致性任务。

Light

Light-A-Video 是一种无需训练的视频重照明技术,由多所高校和研究机构联合开发。它通过 CLA 和 PLF 模块实现高质量、时间一致的光照调整,支持前景与背景分离处理,并具备零样本生成能力。适用于影视、游戏、视频创作等多种场景,兼容多种视频生成模型,提升视频表现力与创作效率。

Phantom

Phantom是由字节跳动研发的视频生成框架,支持从参考图像中提取主体并生成符合文本描述的视频内容。它采用跨模态对齐技术,结合文本和图像提示,实现高质量、主体一致的视频生成。支持多主体交互、身份保留等功能,适用于虚拟试穿、数字人生成、广告制作等多种场景。模型基于文本-图像-视频三元组数据训练,具备强大的跨模态理解和生成能力。

PhotoDoodle

PhotoDoodle是一种基于少量样本学习的艺术化图像编辑框架,能够精准复现艺术家风格并应用于照片涂鸦。它采用两阶段训练策略,结合位置编码重用和无噪声条件范式,确保生成效果与背景一致。支持装饰元素添加、背景保留、指令驱动编辑等功能,并通过低秩适应技术实现高效风格定制。项目提供高质量数据集和开源资源,适用于数字艺术创作、商业设计、社交媒体等多个场景。

VideoGrain

VideoGrain是由悉尼科技大学与浙江大学联合研发的零样本多粒度视频编辑框架,支持类别级、实例级和部件级的精细化视频修改。它通过调节时空交叉注意力和自注意力机制,提升文本提示对目标区域的控制能力,确保时间一致性与特征分离,显著优于现有T2I和T2V方法。该工具无需额外参数调整,具备高效计算性能,适用于影视制作、广告营销、内容创作等多个领域。

VidSketch

VidSketch是由浙江大学研发的视频生成框架,支持通过手绘草图和文本提示生成高质量动画。它采用层级草图控制策略和时空注意力机制,提升视频连贯性和质量,适用于不同技能水平的用户。具备多样化风格支持和低门槛创作特点,广泛应用于创意设计、教学、广告及内容创作等领域。