扩散模型

Mercury Coder

Mercury Coder 是 Inception Labs 推出的扩散型大语言模型,专为代码生成设计。它采用“从粗到细”机制,支持并行生成,每秒可处理超过 1000 个 token,效率显著高于传统模型。具备代码生成、补全、优化、多语言支持及可控生成等功能,适用于开发效率提升、教育辅助、代码优化及低代码平台集成等场景。

GCDance

GCDance是一款由英国萨里大学与江南大学联合开发的3D舞蹈生成框架,可根据音乐和文本提示生成风格可控的全身舞蹈序列。它结合多粒度音乐特征融合与CLIP模型文本嵌入技术,实现舞蹈动作与音乐节奏的高度同步。支持多种舞蹈风格生成、局部编辑及高质量全身动作输出,适用于VR、游戏开发、舞蹈教学等场景。

LanDiff

LanDiff是一种结合自回归语言模型和扩散模型的文本到视频生成框架,采用粗到细的生成策略,有效提升语义理解与视觉质量。其核心功能包括高效语义压缩、高质量视频生成、语义一致性保障及灵活控制能力。支持长视频生成,降低计算成本,适用于视频制作、VR/AR、教育及社交媒体等多个领域。

VideoPainter

VideoPainter是由多所高校及科研机构联合开发的视频修复与编辑框架,采用双分支架构,结合轻量级上下文编码器和扩散模型,实现高效背景保留与前景生成。支持插件式操作,具备长视频对象一致性维持能力,并构建了大规模视频修复数据集,广泛应用于影视、广告、教育等领域。

SeedFoley

SeedFoley 是由字节跳动开发的端到端视频音效生成模型,能智能识别并生成与视频内容高度同步的动作和环境音效。通过融合视频时空特征与扩散生成技术,提升音效的准确性和细腻度,支持多种视频长度,适用于生活Vlog、短片制作、游戏视频等多种场景,显著提升视频的沉浸感和表现力。

VACE

VACE是由阿里巴巴通义实验室推出的视频生成与编辑框架,支持文本到视频、参考生成、视频扩展、遮罩编辑等多种任务。其核心是Video Condition Unit(VCU),可整合多模态输入,实现任务灵活组合。支持480P和720P分辨率,适用于创意视频制作、视频修复、风格转换及互动创作等场景,具备高灵活性和广泛的应用潜力。

AudioX

AudioX 是一种基于多模态输入的音频生成模型,支持文本、视频、图像等多种输入方式,能够生成高质量的音频和音乐。其核心创新在于多模态掩码训练策略,提升了跨模态理解和生成能力。具备零样本生成、自然语言控制及强大的泛化能力,适用于视频配乐、动画音效、音乐创作等多个场景。

GR00T N1

GR00T N1 是英伟达推出的开源人形机器人基础模型,支持多模态输入并具备复杂任务执行能力。采用双系统架构,结合视觉-语言模型与扩散变换器,实现精准动作控制。基于大规模数据训练,适应多种机器人形态和任务场景,广泛应用于物流、制造、医疗等领域,提升自动化水平与操作效率。

Shining Yourself

Shining Yourself是商汤科技推出的高保真饰品虚拟试戴技术,基于扩散模型实现逼真试戴效果。支持多饰品、个性化调整、多场景模拟及动态展示,适用于电商、设计、社交及品牌推广等场景,提升用户体验与决策效率。

InfiniteYou

InfiniteYou 是由字节跳动推出的基于扩散变换器的身份保持图像生成框架,通过 InfuseNet 注入身份特征,确保生成图像与输入图像的高度相似。结合多阶段训练策略,提升文本与图像对齐、图像质量和美学效果。支持插件化设计,兼容多种工具,适用于社交媒体、影视制作、广告营销等多个领域。