扩散模型

1. 首页
2. 扩散模型

LayerDiffusion

LayerDiffusion是一种创新的AI工具，利用大规模预训练的潜在扩散模型生成具有透明度的图像。该技术引入了“潜在透明度”的概念，将图像的alpha通道透明度信息编码到潜在空间中。LayerDiffusion不仅可以生成单个透明图像，还能生成多个透明图层，支持条件控制生成和图层内容结构控制，确保高质量的图像输出。此外，它还能够生成多个透明图层，并通过共享注意力机制和低秩适应确保图层间的和谐混

AI项目与工具 2024年01月01日 69 点赞 0 评论 127 浏览

ResAdapter

ResAdapter是一种专为扩散模型设计的分辨率适配器，允许图像生成模型生成任意分辨率和宽高比的图像，同时保持原始风格。其主要功能包括分辨率插值、分辨率外推、域一致性、即插即用设计以及广泛的兼容性。通过在扩散模型中插入ResCLoRA和引入ResENorm，ResAdapter能够在不影响模型风格的情况下扩展其分辨率范围。

AI项目与工具 2024年01月01日 70 点赞 0 评论 201 浏览

PixArt

PixArt-Σ是一款基于扩散Transformer架构（DiT）的文本生成图像模型，专为生成高达4K分辨率的高质量图像而设计。该模型通过整合高级元素并采用从弱到强的训练方法，不仅提升了生成图像的保真度，还增强了图像与文本提示之间的对齐效果。PixArt-Σ的生成图像在美学质量上可媲美当前顶级的文本到图像产品，并且在遵循文本提示方面表现出色。主要功能包括4K分辨率图像生成、高保真转换、高效率训练和

AI项目与工具 2024年01月01日 82 点赞 0 评论 510 浏览

ELLA

ELLA（Efficient Large Language Model Adapter）是一种由腾讯研究人员开发的方法，旨在提升文本到图像生成模型的语义对齐能力。它通过引入时序感知语义连接器（TSC），动态提取预训练大型语言模型（LLM）中的时序依赖条件，从而提高模型对复杂文本提示的理解能力。ELLA无需重新训练，可以直接应用于预训练的LLM和U-Net模型，且能与现有模型和工具无缝集成，显著提升

AI项目与工具 2024年01月01日 74 点赞 0 评论 186 浏览

Pix2Gif

Pix2Gif是一个由微软研究院开发的基于运动引导的扩散模型，能够将静态图像转换成动态的GIF动画或视频。该模型通过运动引导的扩散过程实现图像到GIF的生成，并利用文本描述和运动幅度作为输入。Pix2Gif还引入了感知损失机制，确保生成的GIF帧在视觉上与原始图像保持一致性和连贯性。

AI项目与工具 2024年01月01日 30 点赞 0 评论 408 浏览

VLOGGER

VLOGGER AI是一款由谷歌研究团队开发的多模态扩散模型，主要用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该工具能够根据音频控制人物动作，包括面部表情、唇部动作、头部运动、眼神、眨眼及上身和手部动作，实现音频驱动的视频合成。VLOGGER生成的视频具有高度的真实性和多样性，能够展示原始主体的不同动作和表情。此外，VLOGGER还可以用于编辑现有视频和跨语言视频内容适配。

AI项目与工具 2024年01月01日 12 点赞 0 评论 391 浏览

Stable Video 3D (SV3D)

Stable Video 3D（SV3D）是一款由Stability AI公司开发的多视角合成和3D生成模型，能够从单张图片生成一致的多视角图像，并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进，提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展，能够生成逼真且一致的视图，提升

AI项目与工具 2024年01月01日 39 点赞 0 评论 221 浏览

BrushNet

BrushNet是一款基于扩散模型的图像修复工具，采用双分支架构处理遮罩区域。它能够实现像素级修复，保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像，包括人类、动物、室内和室外场景，以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合，BrushNet提供灵活的修复控制，同时保留未遮罩区域的细节。

AI项目与工具 2024年01月01日 55 点赞 0 评论 267 浏览

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具，能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型，精准捕捉和再现人体的3D形态和动态，保证动画的连贯性和视觉逼真度。此外，Champ还支持跨身份动画生成，并能与文本生成图像模型结合，使用户可以根据文本描述生成特定的角色外观和动作。

AI项目与工具 2024年01月01日 81 点赞 0 评论 403 浏览

DreaMoving

DreaMoving是一个基于扩散模型的人类视频生成框架，由阿里巴巴集团研究团队开发。该框架通过视频控制网络（Video ControlNet）和内容引导器（Content Guider）实现对人物动作和外观的精确控制，允许用户通过文本或图像提示生成个性化视频内容。其主要功能包括定制化视频生成、高度可控性、身份保持、多样化的输入方式以及易于使用的架构设计。DreaMoving广泛应用于影视制作、游

AI项目与工具 2024年01月01日 93 点赞 0 评论 176 浏览