语音合成

FilmAgent

FilmAgent是一款由哈尔滨工业大学(深圳)研发的虚拟电影制作工具,基于多智能体协作框架,实现从剧本创作到镜头拍摄的全流程自动化。支持剧本生成、多智能体协作、镜头规划、语音合成等功能,适用于创意视频制作、影视教学及虚拟场景应用。系统在Unity 3D环境中运行,提升电影制作效率与创意表达能力。

OmniTalker

OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术,支持文本、图像、音频和视频的同步处理,并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术,实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景,具有高实时性与稳定性。

Text to Bark

Text to Bark 是由 ElevenLabs 推出的全球首个 AI 狗语文本转语音模型,能将文字转化为高度逼真的狗吠声,支持多种犬种选择和语气调整。技术基于深度学习和犬类语言学研究,适用于宠物训练、科研、娱乐及家庭互动等多种场景,具备良好的可扩展性和实用性。

绘声美音

绘声美音是一款集声音克隆、AI变声、文字转语音及多种音频处理功能于一体的在线工具,用户可通过微信公众号便捷使用。支持上传语音训练专属声纹模型,进行歌曲翻唱并生成MV,同时提供变声、音频提取、听歌识曲等功能,适用于娱乐、配音、创作等多种场景。

MegaTTS 3

MegaTTS 3是由字节跳动与浙江大学合作开发的零样本文本到语音合成系统,采用轻量级扩散模型,支持中英文及混合语音合成,具备语音克隆、音色控制、韵律调节等功能。系统通过分解语音属性实现精准建模,可快速生成高质量语音,适用于教育、内容制作、语音交互等多个领域。

kokoroTTS

一款开源、高性能的文本转语音(TTS)模型,Kokoro TTS拥有8200万参数,基于StyleTTS 2架构,提供高质量、自然的语音合成,适用于有声书、播客等。

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型,专攻零样本语音编辑和文本到语音(TTS)任务。它采用Transformer架构,通过token重排过程结合因果掩蔽和延迟叠加技术,实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色,适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。

Freestyler

Freestyler是一款由多机构合作开发的AI工具,专注于说唱音乐的自动化生成。它通过结合语言模型、条件流匹配技术和神经声码器,实现了从歌词和伴奏到高质量说唱音频的全流程转化。Freestyler还推出了RapBank数据集,并支持零样本音色控制,广泛应用于音乐创作、现场表演、游戏音效及教育等领域。

voice.ai

voice.ai的使命是通过普及人工智能技术,增强协作创造力,并允许社区重新定义音频表达方式。公司相信人工智能应该是易于接近、对所有人开放且富有趣味的。