语音

GTSinger

GTSinger是一项由浙江大学研发的开源高质量歌声数据集,包含80.59小时的多语言专业录音棚歌声数据,支持歌声合成、技巧识别、风格迁移和语音到歌声转换等多种任务。它通过音素级标注和真实乐谱支持,为歌唱技巧的研究和应用提供了强大工具。

Whisper语音识别模型

Whisper 是一种通用的语音识别模型。它在不同音频的大型数据集上进行训练,也是一个多任务模型,可以执行多语言语音识别以及语音翻译和语言识别。

Llasa TTS

Llasa TTS是基于LLaMA架构的开源文本转语音模型,支持高质量语音合成、情感表达和音色克隆。采用单层VQ编解码器和Transformer结构,具备多语言支持及长文本处理能力,适用于智能助手、有声读物、游戏娱乐等场景。模型提供不同参数规模版本,支持零样本学习,提升语音自然度和表现力。

MoCha

MoCha 是一款由 Meta 与滑铁卢大学联合开发的端到端对话角色视频生成模型,支持语音与文本驱动的角色动画生成,具备全身动作模拟与多角色对话交互能力。其核心技术包括扩散变压器架构和语音-视频窗口注意力机制,确保动画与语音精准同步。适用于虚拟主播、影视动画、教育内容及数字人客服等多个领域,提升了内容创作效率与表现力。

Vid.AI

一个爆款短视频生成AI工具并优化这些视频以提高在社交媒体上的传播率,提供提示生成视频、AI 脚本生成、AI 声音、短视频创作和内置的素材库。

FunClip

FunClip是一款由阿里巴巴达摩院通义实验室开发的开源、本地部署的视频剪辑工具。它主要通过自动化语音识别技术,帮助用户基于语音转文字的结果,选择特定文本片段或说话人进行视频剪辑。其特点包括高精度的中文ASR模型、热词定制化、说话人识别功能、Gradio交互界面,以及支持多段剪辑和自动生成SRT字幕文件。

大饼AI变声

大饼AI变声,自然人声效果,千种音色选择,全场景接入支持,专注于声音领域,除了实时变声,大饼AI变声还为声音从业者打造了音色转换工具,为内容创作者提供了文本转语音等功能。

Text to Bark

Text to Bark 是由 ElevenLabs 推出的全球首个 AI 狗语文本转语音模型,能将文字转化为高度逼真的狗吠声,支持多种犬种选择和语气调整。技术基于深度学习和犬类语言学研究,适用于宠物训练、科研、娱乐及家庭互动等多种场景,具备良好的可扩展性和实用性。

豆包大模型1.5

豆包大模型1.5是字节跳动推出的高性能AI模型,采用大规模稀疏MoE架构,具备卓越的综合性能和多模态能力。支持文本、语音、图像等多种输入输出方式,适用于智能辅导、情感分析、文本与视频生成等场景。模型训练数据完全自主,性能优于GPT-4o和Claude 3.5 Sonnet等主流模型,且具备成本优势。

绘声美音

绘声美音是一款集声音克隆、AI变声、文字转语音及多种音频处理功能于一体的在线工具,用户可通过微信公众号便捷使用。支持上传语音训练专属声纹模型,进行歌曲翻唱并生成MV,同时提供变声、音频提取、听歌识曲等功能,适用于娱乐、配音、创作等多种场景。