音频

TIGER

TIGER是由清华大学研发的轻量级语音分离模型,采用时频交叉建模策略与多尺度注意力机制,有效提升语音分离性能,同时显著降低计算和参数开销。模型通过频带切分优化资源利用,适应复杂声学环境,广泛应用于会议记录、视频剪辑、电影音频处理及智能语音助手等领域。

AvatarFX

AvatarFX是由Character.AI开发的AI视频生成工具,通过上传图片和选择语音,可生成角色说话、唱歌和表达情感的动态视频。支持多角色、多轮对话及长视频生成,具备高时间一致性。采用扩散模型与音频条件化技术,确保动作与语音同步。适用于互动故事、虚拟直播、娱乐表演及教育内容创作,提供高效、高质量的视频生成体验。

InspireMusic

InspireMusic是由阿里巴巴通义实验室开发的AI音乐生成工具,支持通过文字描述或音频提示生成多种风格的音乐作品。其核心技术包括音频 tokenizer、自回归 Transformer 模型、扩散模型(CFM)和 Vocoder,实现文本到音乐的转换、音乐续写及高质量音频输出。该工具支持长音频生成、多种采样率,并提供快速与高音质两种推理模式,适用于音乐创作、音频处理及个性化音乐生成等场景。

MUSIC.AI

MUSIC.AI 是一款基于人工智能的音频处理平台,提供音频分离、混音、母带处理、语音转换、歌词转录等功能,支持多语言翻译与本地化。平台已处理超 10 亿分钟音频,服务数千万用户,适用于音乐制作、视频剪辑及现场演出等多种场景,显著提升音频处理效率与质量。

sCM

sCM是一种由OpenAI开发的基于扩散模型的连续时间一致性模型,通过简化理论框架与优化采样流程,实现了图像生成速度的大幅提升。该模型仅需两步采样即可生成高质量图像,且速度比传统扩散模型快50倍。得益于连续时间框架和多项技术改进,sCM不仅提高了训练稳定性,还提升了生成质量。其应用场景广泛,包括视频生成、3D建模、音频处理及跨媒介内容创作,适用于艺术设计、游戏开发、影视制作等多个行业。

OpenUtau

OpenUtau 是一款开源的歌声合成工具,支持 UTAU 音源库和 VSQX 格式,具备音素编辑、颤音控制、多语言界面等功能,适用于音乐创作与虚拟歌手合成。它兼容 Windows、macOS 和 Linux,提供预渲染与实时预览,提升创作效率,适合音乐人、开发者及音频爱好者使用。

CapCut

CapCut是一款由抖音开发的免费视频编辑软件,支持视频剪辑、音频编辑、字幕生成、滤镜应用及转场效果等多种功能。该软件界面友好,易于学习,适用于初学者和专业人士。它不仅可以在移动设备上使用,还支持PC端,便于用户跨平台编辑和分享视频。CapCut广泛应用于社交媒体内容创作、商业宣传、教育和培训以及个人项目。

AniPortrait

AniPortrait是一款由腾讯开源的AI视频生成框架,通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块:Audio2Lmk模块将音频转换为2D面部标记点,而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称,能够精确捕捉面部表情和嘴唇动作。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

JoyVASA

JoyVASA是一个基于扩散模型的音频驱动数字人头项目,能够生成与音频同步的面部动态和头部运动。其主要功能包括唇形同步、表情控制及动物面部动画生成,支持多语言和跨物种动画化。项目采用两阶段训练方法,结合解耦面部表示与扩散模型技术,生成高质量动画视频,广泛应用于虚拟助手、娱乐媒体、教育、广告等多个领域。