视频生成

LatentSync

LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。

Creatus.AI

Creatus.ai 是一个允许您使用人工智能从文本输入生成引人入胜的视频内容的平台。无论您是想为社交媒体渠道、网站、博客还是在线课程制作视频,Creatus.ai 都可以帮助您轻松高效地完成。

Motion Dreamer

Motion Dreamer是由香港科技大学(广州)研发的视频生成框架,采用两阶段架构生成物理合理的视频内容。通过引入“实例流”实现从稀疏到密集的运动控制,支持用户以少量提示生成时间连贯的视频。其随机掩码训练策略增强了模型的推理能力与泛化性能,已在多个数据集上验证其优越性。适用于视频创作、动画制作、VR/AR及自动驾驶等多个领域。

FramePack

FramePack 是斯坦福大学推出的开源 AI 视频生成模型,通过帧上下文打包和抗漂移采样技术,实现高效、稳定的视频生成。其仅需 6GB 显存即可运行,支持实时高清视频生成,具备灵活的调度策略,适用于多种应用场景,如短视频制作、游戏开发、教育与广告等,显著降低了视频生成的硬件门槛。

StoryDiffusion

StoryDiffusion 是一种基于 AI 的图像和视频生成框架,通过 Consistent Self-Attention 和 Semantic Motion Predictor 技术,实现从文本到连贯图像和视频的转化,支持用户高效生成高质量视觉内容,广泛应用于动漫、教育、广告及影视等领域。

Spikes Studio

Spikes Studio是一个将长视频转化为YouTube、TikTok和Reels病毒视频的工具。它具有强大的AI编辑器,自动添加字幕等功能。

Pollo AI

Pollo AI是一款由HIX.AI推出的AI视频创作平台,支持文本、图像及视频风格转换等多种功能,能将文字或图片快速生成高质量视频。平台具备角色一致性保障、多风格转换、高清输出等特性,适用于短视频制作、品牌推广、教学视频等领域,为用户提供高效的AI视频生成体验。

DanceGRPO

DanceGRPO 是由字节跳动与香港大学联合开发的视觉生成强化学习框架,支持文本到图像、文本到视频、图像到视频等多种任务,兼容多种生成模型与奖励机制。其通过强化学习优化生成过程,提升视觉内容质量与一致性,降低显存压力,提高训练效率与稳定性,适用于视频生成和多模态内容创作。

TransPixar

TransPixar是由多所高校及研究机构联合开发的开源文本到视频生成工具,基于扩散变换器(DiT)架构,支持生成包含透明度信息的RGBA视频。该技术通过alpha通道生成、LoRA微调和注意力机制优化,实现高质量、多样化的视频内容生成。适用于影视特效、广告制作、教育演示及虚拟现实等多个领域,为视觉内容创作提供高效解决方案。

sCM

sCM是一种由OpenAI开发的基于扩散模型的连续时间一致性模型,通过简化理论框架与优化采样流程,实现了图像生成速度的大幅提升。该模型仅需两步采样即可生成高质量图像,且速度比传统扩散模型快50倍。得益于连续时间框架和多项技术改进,sCM不仅提高了训练稳定性,还提升了生成质量。其应用场景广泛,包括视频生成、3D建模、音频处理及跨媒介内容创作,适用于艺术设计、游戏开发、影视制作等多个行业。