扩散模型

CorrDiff

CorrDiff是NVIDIA开发的生成式AI模型,用于将低分辨率天气数据提升至高分辨率,提升天气预测的精度和效率。采用UNet与扩散模型结合的两步法,显著提升计算速度并降低能耗。支持多变量预测和极端天气模拟,适用于灾害预警和高精度气象分析,具备良好的部署灵活性。

VidSketch

VidSketch是由浙江大学研发的视频生成框架,支持通过手绘草图和文本提示生成高质量动画。它采用层级草图控制策略和时空注意力机制,提升视频连贯性和质量,适用于不同技能水平的用户。具备多样化风格支持和低门槛创作特点,广泛应用于创意设计、教学、广告及内容创作等领域。

LDGen

LDGen是一款结合大型语言模型与扩散模型的文本到图像生成工具,支持零样本多语言生成,提升图像质量和语义一致性。通过分层字幕优化、LLM对齐模块和跨模态精炼器,实现文本与图像的高效交互。实验表明其性能优于现有方法,适用于艺术创作、广告设计、影视制作等多个领域,具备高效、灵活和高质量的生成能力。

LCVD

LCVD是一种由四川大学开发的高保真肖像动画生成框架,支持光照可控的动态视频生成。它通过分离肖像的内在与外在特征,并结合多条件分类器自由引导机制,实现对光照和姿态的精细控制。LCVD在图像质量、视频一致性和光照真实感方面表现突出,适用于虚拟现实、视频会议、影视制作及内容创作等多个领域。

CogView4

CogView4是一款由智谱推出的开源文生图模型,具有60亿参数,支持中英文输入与高分辨率图像生成。在DPG-Bench基准测试中表现优异,达到当前开源模型的领先水平。模型具备强大的语义理解能力,尤其在中文文字生成方面表现突出,适用于广告设计、教育、儿童绘本及电商等领域。其技术架构融合扩散模型与Transformer,并采用显存优化技术提升推理效率。

Image

Image-01 是一款由 MiniMax 开发的文本到图像生成模型,能够根据文本描述精准生成高质量、高分辨率图像,支持多种纵横比输出。具备优秀的人物与物体渲染能力,适用于艺术创作、广告设计、影视制作等多个领域。支持高效批量生成,单次最多输出 9 张图像,每分钟处理 10 个请求,提升创作效率。采用扩散模型与 Transformer 架构,结合线性注意力与 MoE 技术,确保图像质量与生成效率。

谛韵DiffRhythm

DiffRhythm(谛韵)是一款由西北工业大学与香港中文大学(深圳)联合开发的端到端音乐生成工具,基于潜扩散模型技术,能在10秒内生成包含人声和伴奏的完整歌曲。用户只需提供歌词和风格提示,即可快速获得高质量音乐作品。其支持多语言输入,具备歌词对齐、风格定制、非自回归生成等技术优势,广泛应用于音乐创作、影视配乐、教育及个人创作等领域。

WeGen

WeGen是一款由中国科学技术大学等机构联合开发的多模态生成模型,结合多模态大语言模型与扩散模型,支持文本到图像生成、图像编辑、风格迁移等多种视觉任务。其特点包括对模糊指令的多样化响应、高一致性输出以及交互式生成能力,适用于创意设计、内容创作等多个领域。

Kiss3DGen

Kiss3DGen是一款基于2D扩散模型的3D资产生成框架,通过“3D Bundle Image”结构实现多视角图像与法线图的融合,从而高效生成和编辑3D模型。它支持文本与图像输入,具备3D编辑、网格优化和纹理增强等功能,适用于游戏开发、影视制作、VR/AR、数字孪生及教育等多个领域。

GEN3C

GEN3C是由NVIDIA、多伦多大学和向量研究所联合开发的生成式视频模型,基于点云构建3D缓存,结合精确的相机控制和时空一致性技术,实现高质量视频生成。支持从单视角到多视角的视频创作,具备3D编辑能力,适用于动态场景和长视频生成。在新型视图合成、驾驶模拟、影视制作等领域有广泛应用前景。