扩散模型

1. 首页
2. 扩散模型

Matryoshka Diffusion Models

Matryoshka Diffusion Models (MDM) 是一种由苹果公司开发的创新扩散模型，专为生成高分辨率图像和视频而设计。通过多尺度扩散机制与NestedUNet架构，MDM实现了高效的信息共享与渐进式训练，显著提升了模型的训练效率与生成质量。该模型适用于资源受限的环境，可减少训练步骤并保持生成图像的细节与清晰度。其主要功能包括高分辨率图像生成、多分辨率处理、特征共享以及渐进式训练

AI项目与工具 2025年06月12日 18 点赞 0 评论 557 浏览

BrushNet

BrushNet是一款基于扩散模型的图像修复工具，采用双分支架构处理遮罩区域。它能够实现像素级修复，保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像，包括人类、动物、室内和室外场景，以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合，BrushNet提供灵活的修复控制，同时保留未遮罩区域的细节。

AI项目与工具 2024年01月01日 55 点赞 0 评论 560 浏览

Boximator

Boximator是一种视频合成技术，通过引入硬框和软框实现对视频中对象的位置、形状或运动路径的精细控制。它基于视频扩散模型，通过多阶段训练和自跟踪技术，确保视频合成过程中的高质量和逼真度。应用场景包括电影和电视制作、游戏开发以及VR和AR内容创作。

AI项目与工具 2024年02月20日 89 点赞 0 评论 561 浏览

FancyVideo

FancyVideo是一款由360公司与中山大学合作开发的AI文生视频模型，采用创新的跨帧文本引导模块（CTGM）。它能够根据文本描述生成连贯且动态丰富的视频内容，支持高分辨率视频输出，并保持时间上的连贯性。作为开源项目，FancyVideo提供了详尽的文档和代码库，便于研究者和开发者深入研究和应用。主要功能包括文本到视频生成、跨帧文本引导、时间信息注入及时间亲和度细化等。

AI项目与工具 2025年06月12日 28 点赞 0 评论 562 浏览

VideoPainter

VideoPainter是由多所高校及科研机构联合开发的视频修复与编辑框架，采用双分支架构，结合轻量级上下文编码器和扩散模型，实现高效背景保留与前景生成。支持插件式操作，具备长视频对象一致性维持能力，并构建了大规模视频修复数据集，广泛应用于影视、广告、教育等领域。

AI项目与工具 2025年06月12日 33 点赞 0 评论 562 浏览

GEN3C

GEN3C是由NVIDIA、多伦多大学和向量研究所联合开发的生成式视频模型，基于点云构建3D缓存，结合精确的相机控制和时空一致性技术，实现高质量视频生成。支持从单视角到多视角的视频创作，具备3D编辑能力，适用于动态场景和长视频生成。在新型视图合成、驾驶模拟、影视制作等领域有广泛应用前景。

AI项目与工具 2025年06月12日 23 点赞 0 评论 565 浏览

SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术，由字节跳动的研究团队开发。该模型通过结合渐进式和对抗式蒸馏方法，能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。该模型提供开源模型和权重，支持与现有的LoRA模块和控制插件兼容，可以轻松集成到现有的图片生成系统中。核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计，以确保生成图像的质量和多样性。

AI项目与工具 2024年01月01日 91 点赞 0 评论 566 浏览

VACE

VACE是由阿里巴巴通义实验室推出的视频生成与编辑框架，支持文本到视频、参考生成、视频扩展、遮罩编辑等多种任务。其核心是Video Condition Unit（VCU），可整合多模态输入，实现任务灵活组合。支持480P和720P分辨率，适用于创意视频制作、视频修复、风格转换及互动创作等场景，具备高灵活性和广泛的应用潜力。

AI项目与工具 2025年06月12日 33 点赞 0 评论 568 浏览

Audio

Audio-SDS是由NVIDIA研发的音频处理技术，基于文本提示引导音频生成，支持音效生成、音源分离、FM合成及语音增强等多种任务。该技术无需重新训练模型，即可将预训练音频扩散模型扩展为多功能工具，具备高效推理能力，适用于游戏、音乐制作、教育及智能家居等多个领域。

AI项目与工具 2025年06月11日 81 点赞 0 评论 568 浏览

LanDiff

LanDiff是一种结合自回归语言模型和扩散模型的文本到视频生成框架，采用粗到细的生成策略，有效提升语义理解与视觉质量。其核心功能包括高效语义压缩、高质量视频生成、语义一致性保障及灵活控制能力。支持长视频生成，降低计算成本，适用于视频制作、VR/AR、教育及社交媒体等多个领域。

AI项目与工具 2025年06月12日 92 点赞 0 评论 572 浏览