扩散模型

F

F-Lite是一款由Freepik与FAL开源项目联合开发的10B参数文本到图像生成模型,基于版权安全数据集训练,支持商业应用。它采用T5-XXL文本编码器,结合扩散模型架构,实现高精度图像生成。支持多分辨率输出,包含256、512和1024像素,并推出专为纹理优化的F-Lite Texture版本。模型通过强化学习和多项优化技术提升生成质量与效率,适用于创意设计、内容创作、游戏开发等多个领域。

Flex.2

Flex.2-preview是Ostris开发的开源文本到图像生成模型,具备80亿参数规模。支持长文本输入、图像修复和多模态控制输入,适用于创意设计、图像修复和内容生成等多种场景。模型基于扩散框架,采用多通道输入处理和高效推理算法,可通过ComfyUI或Diffusers库集成使用,适合实验性开发和个性化定制。

LucidDreamer

LucidDreamer,可以从单个图像的单个文本提示中生成可导航的3D场景。 单击并拖动(导航)/移动和滚动(缩放)以感受3D。

FabricDiffusion

FabricDiffusion是一项由谷歌与卡内基梅隆大学联合开发的高保真3D服装生成技术,可将2D服装图像的纹理和印花高质量地转移到3D服装模型上。其核心技术基于去噪扩散模型和大规模合成数据集,生成多种纹理贴图并支持跨光照条件的精准渲染,具备优秀的泛化能力和实际应用潜力,适用于虚拟试衣、游戏开发、影视制作及时尚设计等多个领域。

BAG

BAG是一项由香港中文大学与腾讯联合研发的3D可穿戴资产生成技术,结合多视图图像扩散模型与控制网络,根据人体形状和姿态信息生成高质量的服装和配饰。该技术具备高效适配、多样化生成和物理模拟优化等特点,广泛应用于虚拟试衣、游戏开发、VR/AR及时尚设计等领域,有效提升用户体验与设计效率。

MagicColor

MagicColor是一款由香港科技大学开发的多实例线稿图着色工具,基于自监督训练和实例引导模块,实现高效、精准的色彩分配。支持参考图像驱动,具备实例级控制与边缘增强功能,适用于动画、数字艺术、游戏开发等领域。采用扩散模型与双UNet架构,提升着色质量和效率,适合创意设计与教育应用。

MagicTailor

MagicTailor 是一款基于 DM-Deg 和 DS-Bal 技术的新型 AI 工具,支持组件可控的个性化图像生成。它能够动态干扰不需要的视觉语义,平衡概念与组件的学习,从而显著提升生成图像的质量和控制精度。MagicTailor 的核心功能包括组件可控个性化、动态掩码退化、双流平衡、解耦生成及多组件控制,适用于广告、游戏、电影制作等多个领域。

3DHM

3DHM是一项由加州大学伯克利分校开发的3D人体动作生成技术,能够从单张照片生成动态人体视频,具备动作生成、编辑、评估、纹理修复、人体渲染及动作模仿等功能。该技术通过学习人体先验知识和3D运动序列,结合扩散模型和4DHumans预测模型,广泛应用于电影特效、虚拟现实、游戏开发等领域,为动画制作和人体动作模拟提供了创新解决方案。

GCDance

GCDance是一款由英国萨里大学与江南大学联合开发的3D舞蹈生成框架,可根据音乐和文本提示生成风格可控的全身舞蹈序列。它结合多粒度音乐特征融合与CLIP模型文本嵌入技术,实现舞蹈动作与音乐节奏的高度同步。支持多种舞蹈风格生成、局部编辑及高质量全身动作输出,适用于VR、游戏开发、舞蹈教学等场景。

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具,能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型,精准捕捉和再现人体的3D形态和动态,保证动画的连贯性和视觉逼真度。此外,Champ还支持跨身份动画生成,并能与文本生成图像模型结合,使用户可以根据文本描述生成特定的角色外观和动作。