扩散模型

ICEdit

ICEdit是由浙江大学与哈佛大学联合开发的指令式图像编辑框架,基于扩散变换器实现自然语言驱动的图像修改。支持多轮编辑、风格转换、对象替换等功能,具有高效处理能力(单张图像约9秒)。采用LoRA-MoE混合微调策略,降低资源需求,适用于创意设计、影视制作、社交媒体等多个领域。开源且提供在线体验,便于研究与应用。

PlayDiffusion

PlayDiffusion是Play AI推出的音频编辑模型,基于扩散模型技术实现音频的精细编辑和修复。它将音频编码为离散标记序列,通过掩码处理和去噪生成高质量音频,保持语音连贯性和自然性。支持局部编辑、高效文本到语音合成、动态语音修改等功能,具有非自回归特性,提升生成速度与质量。适用于配音纠错、播客剪辑、实时语音互动等场景。

LVCD

LVCD是一款基于视频扩散模型的AI工具,专门用于动画视频线稿的自动上色。它通过参考注意力机制和创新的采样方法,确保视频颜色的一致性和时间连贯性,支持生成长时间序列动画。LVCD广泛应用于动漫制作、游戏开发、影视行业以及艺术创作等领域,显著提升动画制作效率。

Bolt3D

Bolt3D是由谷歌研究院、牛津大学VGG团队与谷歌DeepMind联合开发的3D场景生成技术,基于潜在扩散模型,能在单块GPU上仅需6.25秒生成高质量3D场景。支持多视角输入,具备良好泛化能力,采用高斯溅射技术实现高保真表示,并支持实时交互。适用于游戏开发、VR/AR、建筑设计和影视制作等领域。

Motion Prompting

Motion Prompting 是一种利用点轨迹表示的视频生成技术,支持对象控制、相机控制及物理现象模拟等功能。它通过将用户输入转化为详细的运动轨迹,结合预训练的视频扩散模型与控制网络,在保持灵活性的同时提高生成质量。这项技术广泛应用于电影制作、游戏开发、虚拟现实等领域,为用户提供了强大的交互式视频生成工具。 ---

IFAdapter

IFAdapter是一种由腾讯与新加坡国立大学联合开发的文本到图像生成模型,专为提高多实例图像生成时的空间定位与特征表达准确性而设计。它通过“外观标记”与“实例语义图”两大关键技术解决了传统方法中的定位与特征问题,并支持以即插即用的形式融入现有扩散模型,无需重新训练即可实现高效的空间控制。

LightLab

LightLab是一款基于扩散模型的图像光源控制工具,支持对图像中的光源强度、颜色、环境光以及虚拟光源进行精细调整。通过结合真实照片与合成图像训练,该工具能生成逼真的光照效果,如阴影和反射。其交互式界面使用户能够直观地进行光照编辑,适用于摄影后期、影视特效、室内设计、游戏开发和广告制作等多个领域。

InvSR

InvSR是一款基于扩散模型逆过程开发的图像超分辨率工具,通过深度噪声预测器和灵活采样机制,从低分辨率图像恢复高质量高分辨率图像。它支持多种应用场景,包括文化遗产保护、视频监控、医疗成像及卫星影像分析,同时兼顾计算效率与性能表现。

EnerVerse

EnerVerse是由智元机器人团队开发的首个机器人4D世界模型,基于自回归扩散模型与稀疏记忆机制,实现未来具身空间的高效生成与动作规划。其核心技术包括逐块生成、时空注意力UNet结构、自由锚定视角(FAV)及Diffusion策略头,显著提升机器人在复杂任务中的表现。该模型已在自动驾驶、工业装配、医疗辅助等多个领域展现出广泛应用潜力。

MagicQuill

MagicQuill是一款基于AI的开源图像编辑工具,提供智能化的局部编辑功能。其核心功能包括AI驱动的智能建议、精确的像素级编辑(如添加、删除和颜色调整),以及多种定制化工具(如添加笔刷、减去笔刷和颜色笔刷)。此外,它还具备实时意图预测和参数调整能力,支持多模态大语言模型和扩散模型的协作,适用于个人娱乐、教育、专业设计及商业应用等多个领域。