扩散模型

Dream

Dream-7B是由香港大学与华为诺亚方舟实验室联合开发的开源扩散模型,支持文本、数学和代码生成,具备双向上下文建模能力和灵活的生成控制。其在通用任务、数学推理和编程方面表现优异,适用于文本创作、数学求解、编程辅助及复杂任务规划等多种场景,提供高效且高质量的生成服务。

ReCapture

ReCapture是一种先进的视频处理技术,由谷歌与新加坡国立大学联合研发。它通过多视图扩散模型和点云渲染生成新视角视频,同时使用掩码视频微调技术优化视频质量,保留场景运动并补全不可见部分,广泛应用于电影制作、视频编辑、虚拟现实及新闻报道等领域。

TIP

TIP-I2V是一个包含大量真实文本和图像提示的数据集,专为图像到视频生成领域设计。它涵盖了超过170万个独特的提示,并结合多种顶级图像到视频生成模型生成的视频内容。该数据集支持用户偏好分析、模型性能评估以及解决错误信息传播等问题,有助于推动图像到视频生成技术的安全发展。

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具,通过长上下文条件单元(LCU)和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务,适用于艺术创作、媒体制作、广告设计、教育培训等多个领域,提供高效且灵活的视觉内容解决方案。

FluxSR

FluxSR是一种基于单步扩散模型的图像超分辨率工具,由多所高校与研究机构联合开发。它通过流轨迹蒸馏技术,将多步模型压缩为单步模型,实现高效且高质量的图像增强。采用TV-LPIPS感知损失和注意力多样化损失,有效提升图像细节并减少伪影。适用于老照片修复、影视制作、医学影像增强等多个领域,具备高性能与低计算成本优势。

PartEdit

PartEdit是一种基于预训练扩散模型的细粒度图像编辑工具,通过优化部分标记实现对图像对象各部分的精准定位与编辑。其采用非二进制掩码和自适应阈值策略,确保编辑内容自然融合,保留原始细节。支持真实图像和多部分同时编辑,无需重新训练模型,适用于艺术设计、影视制作、广告等多个领域。

JoyCaption

JoyCaption是一款开源图像提示词生成工具,支持多种图像风格和内容类型,具备丰富的生成模式和灵活的提示控制功能。它适用于社交媒体、图像标注、内容创作、视觉辅助及教育等多个场景,能够生成高质量的描述性字幕和提示词,提升图像处理和创作效率。该工具性能优越,且完全免费开放。

DistriFusion

DistriFusion是一个专为加速高分辨率扩散模型在多GPU环境中生成图像的分布式并行推理框架。通过将图像分割成多个小块并分配至不同设备上进行独立处理,它能够在不增加额外训练负担的情况下,将推理速度提升高达六倍,同时保持图像质量。其技术原理包括Patch Parallelism(分片并行)、异步通信、位移补丁并行性等,适用于多种现有的扩散模型。应用场景包括AI艺术创作、游戏和电影制作、VR/A

FantasyID

FantasyID是由阿里巴巴集团与北京邮电大学联合开发的视频生成框架,基于扩散变换器和3D面部几何先验,实现高质量、身份一致的视频生成。其通过多视角增强和分层特征注入技术,提升面部动态表现,同时保持身份稳定性。支持多种应用场景,如虚拟形象、内容创作和数字人交互,具备无需微调的高效生成能力。

Emu Video

Meta开发的文本到视频生成模型,Emu Video使用扩散模型根据文本提示创建视频,首先生成图像,然后根据文本和生成的图像创建视频。