扩散模型

Seaweed APT

Seaweed APT是字节跳动研发的对抗性后训练模型,支持图像和视频的一站式生成。其通过在真实数据上进行对抗性训练,实现单步高质量输出,包括1024px图像和1280×720、24fps视频。该模型采用先进的生成器和判别器设计,结合近似R1正则化技术,提升训练稳定性和生成质量。适用于视频广告、影视创作、社交媒体等内容生产场景。

RelightVid

RelightVid是一款基于时序一致性扩散模型的视频重照明工具,由多所高校和研究机构联合开发。它支持通过文本提示、背景视频或HDR环境贴图对视频进行细粒度和一致的场景编辑,具备全场景和前景保留重照明功能。该模型在预训练图像照明编辑框架基础上扩展,引入时序层提升视频重照明效果,并结合真实视频与3D渲染数据生成高质量数据对。RelightVid在保持时序一致性和照明细节方面表现突出,适用于影视制作、

Unique3D

Unique3D是一款由清华大学团队开发的开源框架,专注于单张图像到3D模型的转换。它利用多视图扩散模型和法线扩散模型,结合多级上采样策略和ISOMER算法,能够在短时间内生成高保真度且纹理丰富的3D网格模型。Unique3D能够从单个2D图像生成3D网格模型、多个正交视图图像和法线贴图,并通过多级上采样过程提高图像分辨率,最终实现颜色和几何细节的高度整合。

FaceLift

FaceLift是一种由Adobe与加州大学默塞德分校联合开发的AI工具,能够从单张人脸图像中重建出高精度的3D头部模型。其核心技术包括多视图扩散模型和GS-LRM重建器,支持多视角一致性、身份保持和4D新视图合成,适用于虚拟现实、数字娱乐、远程交互等多个领域。该工具具备强大的几何与纹理细节表现能力,且可与2D面部重动画技术集成,广泛应用于内容创作与科研场景。

Perception

Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架,支持对相机和物体运动的细粒度控制。它基于3D感知运动表示,结合U-Net架构的扩散模型,实现多种运动相关的视频合成任务,如运动生成、运动克隆、转移和编辑。通过三阶段训练策略,提升运动控制精度和稳定性,适用于影视、游戏、VR/AR、广告及教育等多个领域。

Sonauto AI

一款AI音乐生成器,允许用户通过将文本提示、歌词或旋律转换为完整的不同风格的歌曲。它采用了潜在扩散模型,这使得它与其他人工智能音乐生成模型相比更加可控。

CSGO AI

CSGO是一项由南京理工大学等机构合作研发的图像风格迁移与文本到图像生成研究项目。其主要功能包括图像驱动的风格迁移、文本驱动的风格化合成及文本编辑驱动的风格化合成。项目通过端到端训练模型、特征注入技术及扩散模型,实现高效且高质量的图像生成,广泛应用于艺术创作、数字娱乐、设计行业及广告营销等领域。

IDM

IDM-VTON是一种基于改进扩散模型的先进AI虚拟试穿技术,由韩国科学技术院和OMNIOUS.AI的研究人员共同开发。该技术利用视觉编码器提取服装的高级语义信息,并通过GarmentNet捕捉服装的低级细节特征,从而生成逼真的人物穿戴图像。IDM-VTON支持文本提示理解,实现了个性化定制和逼真的试穿效果,广泛应用于电子商务、时尚零售、个性化推荐、社交媒体以及时尚设计等领域。

DiffSensei

DiffSensei是一款由北京大学、上海AI实验室及南洋理工大学联合开发的漫画生成框架,它结合了基于扩散的图像生成技术和多模态大型语言模型(MLLM)。该工具能够根据用户提供的文本提示和角色图像,生成具有高精度和视觉吸引力的黑白漫画面板,支持多角色场景下的互动与布局调整。其核心技术包括掩码交叉注意力机制、对话布局编码以及MLLM作为特征适配器等,广泛应用于漫画创作、个性化内容生成、教育和培训等领

StochSync

StochSync是一种基于扩散同步(DS)和分数蒸馏采样(SDS)的图像生成技术,适用于360°全景图和3D纹理生成。它通过引入最大随机性与多步去噪方法,兼顾图像细节与连贯性,无需额外训练即可生成高质量图像。支持高分辨率输出,适用于复杂几何纹理化任务。