LatentSync
LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架，基于音频条件的潜在扩散模型，无需中间3D或2D表示，可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法，提升视频时间一致性，并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。
扩散模型
JoyCaption
JoyCaption是一款开源图像提示词生成工具，支持多种图像风格和内容类型，具备丰富的生成模式和灵活的提示控制功能。它适用于社交媒体、图像标注、内容创作、视觉辅助及教育等多个场景，能够生成高质量的描述性字幕和提示词，提升图像处理和创作效率。该工具性能优越，且完全免费开放。
Ingredients
Ingredients是一款基于多身份图像与视频扩散Transformer的视频生成框架，支持多身份特征的高效整合与动态分配。其核心模块包括面部提取器、多尺度投影器和ID路由器，能够保持身份一致性并生成高质量视频内容。无需额外训练即可实现个性化视频制作，适用于娱乐、广告、教育等多个领域。
TransPixar
TransPixar是由多所高校及研究机构联合开发的开源文本到视频生成工具，基于扩散变换器（DiT）架构，支持生成包含透明度信息的RGBA视频。该技术通过alpha通道生成、LoRA微调和注意力机制优化，实现高质量、多样化的视频内容生成。适用于影视特效、广告制作、教育演示及虚拟现实等多个领域，为视觉内容创作提供高效解决方案。
ConceptMaster
ConceptMaster是一款基于扩散Transformer模型的多概念视频生成框架，可在无需测试调优的情况下生成高质量、概念一致的视频。通过解耦多概念嵌入并独立注入模型，有效解决身份解耦问题，尤其擅长处理高度相似的视觉概念。该工具支持多概念视频定制、高质量数据收集和全面的基准测试，适用于视频创作、动画制作、游戏开发及产品展示等领域。
Perception
Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架，支持对相机和物体运动的细粒度控制。它基于3D感知运动表示，结合U-Net架构的扩散模型，实现多种运动相关的视频合成任务，如运动生成、运动克隆、转移和编辑。通过三阶段训练策略，提升运动控制精度和稳定性，适用于影视、游戏、VR/AR、广告及教育等多个领域。
