音频

KeySync

KeySync是一种高分辨率口型同步工具,由帝国理工学院和弗罗茨瓦夫大学联合开发。其采用两阶段生成框架,结合掩码策略和视频分割模型,实现音频与唇部动作的精准对齐。支持高清视频生成,具备遮挡处理、减少表情泄露等功能,在视觉质量、时间连贯性和同步精度上优于现有方法,适用于自动配音、虚拟形象、视频会议等多场景应用。

混元图生视频

混元图生视频是腾讯混元推出的开源图生视频模型,支持用户上传图片并输入描述生成5秒短视频,具备对口型、动作驱动和背景音效自动生成等功能。模型适用于多种风格与场景,参数量达130亿,已在腾讯云上线并开源,支持本地部署与定制开发,适用于创意视频、特效制作及动画开发等多个领域。

Liner.ai

Liner.ai 是一款面向非专业程序员和数据科学家的机器学习工具,通过简单的点击操作即可训练模型,无需编写代码。该工具提供多种项目模板,涵盖图像、文本、音频和视频分类,以及对象检测和图像分割等任务。Liner.ai 支持在 CPU 上快速训练模型,并可在本地完成训练以保护数据隐私。此外,该工具还允许用户轻松地将模型导出到多个平台,适合初学者和专业人士使用。

SeedFoley

SeedFoley 是由字节跳动开发的端到端视频音效生成模型,能智能识别并生成与视频内容高度同步的动作和环境音效。通过融合视频时空特征与扩散生成技术,提升音效的准确性和细腻度,支持多种视频长度,适用于生活Vlog、短片制作、游戏视频等多种场景,显著提升视频的沉浸感和表现力。

Eleven Labs

Eleven Labs的长格式语音生成平台使用人工智能为创作者和出版商创造自然而引人注目的声音。

EmotiVoice

EmotiVoice是网易有道推出的开源文本到语音系统,支持中英文及2000+音色,能根据提示生成带情感的语音。具备情感合成、语音克隆、多语言支持等功能,提供Web界面和API接口,适用于有声读物、智能助手、教育、客服等场景,技术上支持高效部署与模型微调。

Whisper语音识别模型

Whisper 是一种通用的语音识别模型。它在不同音频的大型数据集上进行训练,也是一个多任务模型,可以执行多语言语音识别以及语音翻译和语言识别。

Alphy

一个由AI驱动提供在线和本地音频内容的转录、摘要和问答服务的平台,包括YouTube视频。Alphy帮助用户快速高效地从音频和音频视听媒体中提取有价值的信息。

UniFab AI

一款可以通过AI算法增强视频和音频质量工具。UniFab AI针对的用户群体主要有老旧视频想要修复和增强、对视频播放有更高要求的影音爱好者。

Movie Gen

Movie Gen是Meta开发的一款AI视频生成与编辑工具,支持根据文本提示生成高清视频并提供同步音频配制。该工具具备强大的视频生成能力,可创建长达16秒的高清视频,并支持照片定制化视频生成和精准编辑功能。此外,它还拥有先进的音频生成技术,能够生成高质量的环境音效和背景音乐。当前,Movie Gen主要服务于Meta内部团队及部分合作伙伴,未来有望推广至更广泛的用户群体。 ---