音频

Playmate

Playmate是由广州趣丸科技开发的人脸动画生成框架,基于3D隐式空间引导扩散模型和双阶段训练框架,能够根据音频和指令精准控制人物表情和头部姿态,生成高质量动态肖像视频。其支持情感控制、姿态控制和独立控制,可生成多种风格的动态肖像,适用于影视制作、游戏开发、虚拟现实、互动媒体及教育等多个领域。

Sonic

Sonic是由腾讯与浙江大学联合开发的音频驱动肖像动画框架,基于音频信号生成逼真面部表情和动作。它通过上下文增强音频学习和运动解耦控制器,提升唇部同步精度与运动多样性。Sonic在长视频生成中表现出色,具备高稳定性与自然连贯性,支持用户自定义参数。适用于虚拟现实、影视制作、在线教育、游戏开发和社交媒体等多个领域。

InspireMusic

InspireMusic是由阿里巴巴通义实验室开发的AI音乐生成工具,支持通过文字描述或音频提示生成多种风格的音乐作品。其核心技术包括音频 tokenizer、自回归 Transformer 模型、扩散模型(CFM)和 Vocoder,实现文本到音乐的转换、音乐续写及高质量音频输出。该工具支持长音频生成、多种采样率,并提供快速与高音质两种推理模式,适用于音乐创作、音频处理及个性化音乐生成等场景。

MUSIC.AI

MUSIC.AI 是一款基于人工智能的音频处理平台,提供音频分离、混音、母带处理、语音转换、歌词转录等功能,支持多语言翻译与本地化。平台已处理超 10 亿分钟音频,服务数千万用户,适用于音乐制作、视频剪辑及现场演出等多种场景,显著提升音频处理效率与质量。

Whisper Input

Whisper Input 是一款开源语音输入工具,基于 Python 和 OpenAI Whisper 模型开发,支持多语言语音识别与实时转录。用户可通过快捷键操作录音并生成文本,具备翻译、自动标点、高效处理及本地运行等功能。适用于会议记录、教育、智能交互及媒体制作等多种场景。

Open NotebookLM

Open NotebookLM是一个开源工具,能够将PDF文档转换为播客形式的音频内容。它基于Llama 3.1 405B、MeloTTS和Bark等先进AI模型,生成自然流畅的对话式音频,并支持多语言及个性化音调设置。用户可通过简单易用的Gradio界面上传PDF文件并下载MP3格式的音频文件,适用于教育、科研、商业分析等多个领域。

CapCut

CapCut是一款由抖音开发的免费视频编辑软件,支持视频剪辑、音频编辑、字幕生成、滤镜应用及转场效果等多种功能。该软件界面友好,易于学习,适用于初学者和专业人士。它不仅可以在移动设备上使用,还支持PC端,便于用户跨平台编辑和分享视频。CapCut广泛应用于社交媒体内容创作、商业宣传、教育和培训以及个人项目。

Wav2Lip

Wav2Lip是一款开源的唇形同步工具,能够将音频文件转换为与口型同步的视频。它支持多种语言,适用于视频编辑、游戏开发和虚拟现实等多个领域。Wav2Lip具备音频驱动口型生成、面部表情同步和多语言支持等功能,采用先进的技术原理,如数据预处理、音频特征提取、口型编码器、音频到口型映射及生成对抗网络(GAN)。该工具提升了电影和视频的后期制作质量,增强了虚拟现实中的交互体验,还用于游戏开发、语言学习和

SmoothCache

SmoothCache是一种针对Diffusion Transformers(DiT)模型的推理加速技术,通过分析层输出的相似性实现自适应缓存和特征重用,有效减少计算成本并提升生成效率。该技术具有模型无关性、跨模态适用性和易于集成的特点,支持图像、视频、音频及3D模型生成,并在多种应用场景中展现出卓越的性能表现。