扩散模型

LDGen

LDGen是一款结合大型语言模型与扩散模型的文本到图像生成工具,支持零样本多语言生成,提升图像质量和语义一致性。通过分层字幕优化、LLM对齐模块和跨模态精炼器,实现文本与图像的高效交互。实验表明其性能优于现有方法,适用于艺术创作、广告设计、影视制作等多个领域,具备高效、灵活和高质量的生成能力。

Firefly Image Model 4

Firefly Image Model 4 是 Adobe 推出的图像生成模型,支持高分辨率(最高2K)图像生成,并提供对图像结构、风格、视角等的精细控制。其增强版 Firefly Image Model 4 Ultra 特别适用于复杂场景和细节处理。该模型基于深度学习技术,包括 GAN 和 Diffusion Model,能够根据文本描述或参考图像生成高质量图像。广泛应用于创意设计、广告、艺术、

AudioX

AudioX 是一种基于多模态输入的音频生成模型,支持文本、视频、图像等多种输入方式,能够生成高质量的音频和音乐。其核心创新在于多模态掩码训练策略,提升了跨模态理解和生成能力。具备零样本生成、自然语言控制及强大的泛化能力,适用于视频配乐、动画音效、音乐创作等多个场景。

MobileVD

MobileVD是Qualcomm AI Research团队开发的首个面向移动端优化的视频扩散模型,基于Stable Video Diffusion架构,通过降低帧分辨率、多尺度时间表示和剪枝技术,显著提升模型效率。其具备高效的去噪能力和低资源消耗,适用于短视频生成、视频编辑、游戏动画及互动视频等多种应用场景,为移动设备上的视频生成提供了强大支持。

iDP3

iDP3是一种基于自我中心3D视觉表征的改进型人形机器人运动策略,由斯坦福大学等机构联合开发。它摒弃了对精确相机校准和点云分割的需求,具备出色的视图、对象及场景泛化能力,可高效适应未知环境。此外,其优化的视觉编码器和扩散模型进一步提高了学习和推理性能,在家庭、工业、医疗、搜救及教育等领域具有广泛应用潜力。

Hyper

Hyper-SD是由字节跳动研究人员开发的高效图像合成框架,通过轨迹分割一致性蒸馏(TSCD)、人类反馈学习(ReFL)和分数蒸馏等技术,显著降低了扩散模型在多步推理过程中的计算成本。该框架在保持高图像质量的同时,大幅减少了推理步骤,实现了快速生成高分辨率图像,推动了生成式AI技术的发展。

MCA

MCA-Ctrl是由中科院计算所与国科大联合开发的图像定制生成框架,通过引入SAGI和SALQ注意力控制策略及主体定位模块,提升图像生成质量与一致性。支持零样本图像生成,适用于主体特征保持、背景一致性维护等多种任务,广泛应用于数字内容创作、广告设计、艺术创作等领域。

MVGenMaster

MVGenMaster是一款基于多视图扩散模型的工具,利用增强的3D先验技术实现新视角合成任务。它可以从单一图像生成多达100个新视图,具有高度的灵活性和泛化能力。模型结合了度量深度、相机姿态扭曲以及全注意力机制等技术,支持高效的前向传播过程,同时兼容大规模数据集。MVGenMaster在视频游戏、电影特效、虚拟现实、3D建模及建筑可视化等领域具有广泛应用前景。

ViewCrafter

ViewCrafter是一种由北京大学、香港中文大学和腾讯合作开发的先进视频扩散模型。它能够从单一或少量图像中合成高质量的新视图,结合视频扩散模型和基于点的3D表示,通过迭代视图合成策略和相机轨迹规划生成多样化的视图。该模型在多个数据集上展示了强大的泛化能力和性能,适用于实时渲染、沉浸式体验及场景级文本到3D生成等多种应用场景。

SaRA

SaRA是一种新型预训练扩散模型微调方法,通过重新激活预训练阶段未被充分使用的参数,有效提升模型的适应性和泛化能力。该方法支持核范数低秩稀疏训练,能够防止过拟合并优化模型性能,同时大幅降低计算资源需求。SaRA适用于多种应用场景,包括图像风格迁移、视频生成及下游数据集微调等,仅需少量代码调整即可实现高效微调。