扩散模型

BlockDance

BlockDance是由复旦大学与字节跳动联合开发的扩散模型加速技术,通过识别结构相似的时空特征(STSS)减少冗余计算,提升推理效率达25%-50%。结合强化学习的BlockDance-Ada模块实现动态资源分配,平衡速度与质量。适用于图像、视频生成及实时应用,支持多种模型,兼顾高效与高质,适用于资源受限环境。

Bolt3D

Bolt3D是由谷歌研究院、牛津大学VGG团队与谷歌DeepMind联合开发的3D场景生成技术,基于潜在扩散模型,能在单块GPU上仅需6.25秒生成高质量3D场景。支持多视角输入,具备良好泛化能力,采用高斯溅射技术实现高保真表示,并支持实时交互。适用于游戏开发、VR/AR、建筑设计和影视制作等领域。

MegaTTS 3

MegaTTS 3是由字节跳动与浙江大学合作开发的零样本文本到语音合成系统,采用轻量级扩散模型,支持中英文及混合语音合成,具备语音克隆、音色控制、韵律调节等功能。系统通过分解语音属性实现精准建模,可快速生成高质量语音,适用于教育、内容制作、语音交互等多个领域。

Neo

Neo-1 是 VantAI 开发的全球首个整合从头分子生成与原子级结构预测的 AI 模型,支持多模态输入,提升药物设计效率与准确性。该模型基于大规模训练和定制数据集,具备精准生成分子和预测结构的能力,适用于分子胶设计、蛋白质复合物预测及抗体发现等多个领域,推动结构生物学发展。

EasyControl Ghibli

EasyControl Ghibli 是一款基于扩散模型的 AI 工具,专注于将普通图像转换为吉卜力风格,具备风格迁移、面部特征保留、高效运行等优点。它通过少量数据训练即可生成高质量图像,适用于插画、动画、广告及个人照片风格化等多种场景。用户可免费使用,操作便捷,适合艺术创作与内容生成需求。

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架,结合大型语言模型与视频扩散模型,实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入,精确控制摄像机运动轨迹,具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果,并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域,提高视频创作效率与质量。

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具,可生成高质量、自然的说话人头部视频。支持多信号控制(如音频、表情),采用并行 Mamba 结构和门控机制,实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异,适用于虚拟主播、远程会议、在线教育等多种场景。

MagicColor

MagicColor是一款由香港科技大学开发的多实例线稿图着色工具,基于自监督训练和实例引导模块,实现高效、精准的色彩分配。支持参考图像驱动,具备实例级控制与边缘增强功能,适用于动画、数字艺术、游戏开发等领域。采用扩散模型与双UNet架构,提升着色质量和效率,适合创意设计与教育应用。

HiDream

HiDream-I1是一款由HiDream.ai团队开发的开源AI图像生成模型,具备17亿参数,支持多种图像风格生成,包括真实、卡通和艺术风格。其在提示词理解、细节渲染和图像一致性方面表现出色,适用于艺术创作、商业设计、教育科研等领域。模型采用扩散模型和混合专家架构(MoE),并集成多种文本编码器,实现高质量与高效率的图像生成。项目已在GitHub和HuggingFace开源,便于研究与应用。

Dream

Dream-7B是由香港大学与华为诺亚方舟实验室联合开发的开源扩散模型,支持文本、数学和代码生成,具备双向上下文建模能力和灵活的生成控制。其在通用任务、数学推理和编程方面表现优异,适用于文本创作、数学求解、编程辅助及复杂任务规划等多种场景,提供高效且高质量的生成服务。