扩散模型

FluxSR

FluxSR是一种基于单步扩散模型的图像超分辨率工具,由多所高校与研究机构联合开发。它通过流轨迹蒸馏技术,将多步模型压缩为单步模型,实现高效且高质量的图像增强。采用TV-LPIPS感知损失和注意力多样化损失,有效提升图像细节并减少伪影。适用于老照片修复、影视制作、医学影像增强等多个领域,具备高性能与低计算成本优势。

ConsistentDreamer

ConsistentDreamer 是由华为慕尼黑研究中心开发的图像到 3D 资产生成技术,能通过单张图像生成多视图一致的 3D 网格。该技术采用多视图先验图像引导和分数蒸馏采样优化,结合动态权重平衡和多种损失函数,提升 3D 表面质量和纹理精度。支持复杂场景编辑、风格转换、物体修改等功能,适用于室内场景、艺术风格转换及跨视图一致性任务。

JoyCaption

JoyCaption是一款开源图像提示词生成工具,支持多种图像风格和内容类型,具备丰富的生成模式和灵活的提示控制功能。它适用于社交媒体、图像标注、内容创作、视觉辅助及教育等多个场景,能够生成高质量的描述性字幕和提示词,提升图像处理和创作效率。该工具性能优越,且完全免费开放。

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具,通过长上下文条件单元(LCU)和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务,适用于艺术创作、媒体制作、广告设计、教育培训等多个领域,提供高效且灵活的视觉内容解决方案。

RelightVid

RelightVid是一款基于时序一致性扩散模型的视频重照明工具,由多所高校和研究机构联合开发。它支持通过文本提示、背景视频或HDR环境贴图对视频进行细粒度和一致的场景编辑,具备全场景和前景保留重照明功能。该模型在预训练图像照明编辑框架基础上扩展,引入时序层提升视频重照明效果,并结合真实视频与3D渲染数据生成高质量数据对。RelightVid在保持时序一致性和照明细节方面表现突出,适用于影视制作、

Loopy

Loopy是一款由字节跳动开发的音频驱动的AI视频生成模型。该模型能够将静态照片转化为具有面部表情和头部动作的动态视频,与给定的音频文件同步。Loopy利用先进的扩散模型技术,无需额外的空间信号或条件,捕捉并学习长期运动信息,从而生成自然流畅的动作。其主要功能包括音频驱动、面部动作生成、无需额外条件以及长期运动信息捕捉。Loopy适用于娱乐、教育、影视制作等多种场景。

HART

HART是一种由麻省理工学院研究团队开发的自回归视觉生成模型,能够生成1024×1024像素的高分辨率图像,质量媲美扩散模型。通过混合Tokenizer技术和轻量级残差扩散模块,HART实现了高效的图像生成,并在多个指标上表现出色,包括重构FID、生成FID以及计算效率。

MatterGen

MatterGen是由微软开发的生成式AI模型,专注于无机材料的设计与生成。它通过扩散过程逐步优化原子结构,生成稳定、多样化且符合特定性能要求的材料。支持化学组成、磁性、电子和机械性能等多维度约束,适用于逆向材料设计,提升新材料研发效率。已应用于能源、催化、电子等领域,推动材料科学进步。

TIP

TIP-I2V是一个包含大量真实文本和图像提示的数据集,专为图像到视频生成领域设计。它涵盖了超过170万个独特的提示,并结合多种顶级图像到视频生成模型生成的视频内容。该数据集支持用户偏好分析、模型性能评估以及解决错误信息传播等问题,有助于推动图像到视频生成技术的安全发展。

FantasyID

FantasyID是由阿里巴巴集团与北京邮电大学联合开发的视频生成框架,基于扩散变换器和3D面部几何先验,实现高质量、身份一致的视频生成。其通过多视角增强和分层特征注入技术,提升面部动态表现,同时保持身份稳定性。支持多种应用场景,如虚拟形象、内容创作和数字人交互,具备无需微调的高效生成能力。