OmniTalker
OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术，支持文本、图像、音频和视频的同步处理，并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术，实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景，具有高实时性与稳定性。
语音合成
VoiceCraft
VoiceCraft是一款开源的神经编解码器语言模型，专攻零样本语音编辑和文本到语音（TTS）任务。它采用Transformer架构，通过token重排过程结合因果掩蔽和延迟叠加技术，实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色，适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。
Freestyler
Freestyler是一款由多机构合作开发的AI工具，专注于说唱音乐的自动化生成。它通过结合语言模型、条件流匹配技术和神经声码器，实现了从歌词和伴奏到高质量说唱音频的全流程转化。Freestyler还推出了RapBank数据集，并支持零样本音色控制，广泛应用于音乐创作、现场表演、游戏音效及教育等领域。
Orpheus TTS
Orpheus TTS 是一款基于 Llama-3b 架构的开源文本到语音系统，支持自然、富有情感的语音生成。具备零样本语音克隆能力，无需预训练即可模仿特定语音，延迟低至 200 毫秒，适合实时应用。支持多种语音风格和情感控制，适用于有声读物、虚拟助手、游戏、教育等多个领域。
