一致性
FLUX.1 Kontext
FLUX.1 Kontext是由Black Forest Labs推出的图像生成与编辑模型,支持上下文感知的图像处理。它基于文本和图像提示进行生成与编辑,具备对象修改、风格转换、背景替换、角色一致性保持和文本编辑等功能。FLUX.1 Kontext Pro版本支持快速迭代编辑,Kontext Max版本在提示词遵循和排版生成方面表现优异,而dev开源版本适合定制化开发。
MagicTryOn
MagicTryOn是由浙江大学和vivo等机构开发的视频虚拟试穿框架,采用扩散Transformer(DiT)架构替代传统U-Net,结合全自注意力机制实现视频时空一致性建模。通过粗到细的服装保持策略,整合服装标记与多条件引导,有效保留服装细节。该工具在图像和视频试穿任务中表现优异,适用于在线购物、时尚设计、虚拟试衣间等多种场景。
OmniConsistency
OmniConsistency 是新加坡国立大学推出的图像风格迁移模型,旨在解决复杂场景下风格化图像的一致性问题。该模型采用两阶段训练策略,将风格学习与一致性学习解耦,并支持与任意风格的 LoRA 模块集成,实现高效且灵活的风格化效果。它在多种风格下保持图像的语义、结构和细节一致性,具备更高的灵活性和泛化能力,在实验中表现出与 GPT-4o 相当的性能。
RelightVid
RelightVid是一款基于时序一致性扩散模型的视频重照明工具,由多所高校和研究机构联合开发。它支持通过文本提示、背景视频或HDR环境贴图对视频进行细粒度和一致的场景编辑,具备全场景和前景保留重照明功能。该模型在预训练图像照明编辑框架基础上扩展,引入时序层提升视频重照明效果,并结合真实视频与3D渲染数据生成高质量数据对。RelightVid在保持时序一致性和照明细节方面表现突出,适用于影视制作、
SketchVideo
SketchVideo是一款基于草图和文本提示的视频生成与编辑框架,由多所高校与企业联合研发。它利用DiT模型和草图控制网络,实现对视频内容的精细控制,支持动态调整与细节保留。该工具适用于多种场景,如影视制作、教育、游戏开发等,具备高效生成与高质量输出能力。
ShotAdapter
ShotAdapter是一款由Adobe与UIUC联合开发的文本到多镜头视频生成框架,通过过渡标记和局部注意力掩码策略,实现角色身份一致性和镜头内容精准控制。支持用户通过文本提示调节镜头数量、时长和背景,适用于影视、广告、教育、游戏等领域,具备高效、灵活和可扩展的技术特点。