AniPortrait
AniPortrait是一款由腾讯开源的AI视频生成框架，通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块：Audio2Lmk模块将音频转换为2D面部标记点，而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称，能够精确捕捉面部表情和嘴唇动作。
扩散模型
LatentSync
LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架，基于音频条件的潜在扩散模型，无需中间3D或2D表示，可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法，提升视频时间一致性，并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。
TransPixar
TransPixar是由多所高校及研究机构联合开发的开源文本到视频生成工具，基于扩散变换器（DiT）架构，支持生成包含透明度信息的RGBA视频。该技术通过alpha通道生成、LoRA微调和注意力机制优化，实现高质量、多样化的视频内容生成。适用于影视特效、广告制作、教育演示及虚拟现实等多个领域，为视觉内容创作提供高效解决方案。
InspireMusic
InspireMusic是由阿里巴巴通义实验室开发的AI音乐生成工具，支持通过文字描述或音频提示生成多种风格的音乐作品。其核心技术包括音频 tokenizer、自回归 Transformer 模型、扩散模型（CFM）和 Vocoder，实现文本到音乐的转换、音乐续写及高质量音频输出。该工具支持长音频生成、多种采样率，并提供快速与高音质两种推理模式，适用于音乐创作、音频处理及个性化音乐生成等场景。
OminiControl
OminiControl是一款高效且参数节约的图像生成框架，专为扩散变换器模型设计，支持主题驱动和空间控制。通过增加少量参数，它能够生成高质量图像并保持主题一致性，适用于多种应用场景，包括艺术创作、游戏开发和广告设计等。其强大的多模态注意力机制和灵活的架构使其成为图像生成领域的创新工具。
