零样本

Takin AudioLLM

Takin AudioLLM是一套由喜马拉雅Everest团队研发的语音生成模型,包含文本转语音(Takin TTS)、音色转换(Takin VC)及声音风格变换(Takin Morphing)。它采用最新大型语言模型技术,可生成接近真人的高质量语音,并支持个性化定制与零样本学习。该工具广泛应用于有声书制作、虚拟助手、电影配音等领域,具有音色精准、风格多样等特点。

AgentGen

AgentGen是一款由香港大学与微软联合研发的AI项目框架,旨在通过自动生成多样化环境和任务,显著提升大语言模型(LLM)的规划能力。其核心技术包括环境生成、任务生成和动态难度调节,支持零样本生成和指令微调,适用于机器人控制、智能家居等多个领域。

LLMDet

LLMDet是一款基于大型语言模型协同训练的开放词汇目标检测器,能够识别训练阶段未见过的目标类别。其通过结合图像和文本信息,实现高精度的零样本检测,并支持图像描述生成与多模态任务优化,适用于多种实际应用场景。

Zerox

Zerox是一款基于GPT-4o-mini模型的开源OCR工具,支持多种文件格式,具备零样本识别能力,可高效处理扫描文档和复杂布局内容。其输出为Markdown格式,便于编辑与使用,同时提供API接口,适用于企业文档管理、学术研究、法律金融等多个场景,显著提升文档处理效率和准确性。

Spark

Spark-TTS是一款基于大型语言模型的高效文本转语音工具,支持中英文双语及跨语言合成。它无需额外生成模型,通过LLM预测编码直接生成音频,实现零样本语音克隆。用户可自定义语音参数,如音色、语速等,适用于语音助手、多语言内容创作、智能客服及虚拟角色配音等多种场景。

OmniManip

OmniManip是由北京大学与智元机器人联合实验室开发的通用机器人操作框架,结合视觉语言模型与三维操作技术,实现机器人在非结构化环境中的任务执行。其核心为以对象为中心的交互基元表示法,支持零样本泛化、跨平台部署及大规模仿真数据生成。通过双闭环系统设计与任务分解机制,提升操作精度与适应性,适用于日常操作、工业自动化及服务机器人等场景。

T

T-Rex Label是一款基于AI的自动标注工具,依托T-Rex2模型实现一键标注和零样本检测功能。它通过视觉提示简化标注流程,无需额外训练即可直接应用于多种场景,包括农业、工业、生物医药等。用户可通过GitHub账号快速登录并上传数据,利用AI自动生成初步标注结果,随后人工检查与修正,最终导出为常用格式供模型训练使用。

Speech

Speech-02 是 MiniMax 推出的先进文本到语音模型,支持零样本语音克隆和高质量语音合成,具备多语言支持和情感控制功能。采用自回归 Transformer 和 Flow-VAE 架构提升语音自然度和相似度,适用于配音、有声读物、智能助手等多种场景。提供 HD 和 Turbo 两个版本,满足不同性能需求。

ImageBind

ImageBind是由Meta公司开发的开源多模态AI模型,能够整合文本、音频、视觉、温度和运动数据等多种模态的信息,并将其统一到一个嵌入空间中。该模型通过图像模态实现其他模态数据的隐式对齐,支持跨模态检索和零样本学习。它在增强现实(AR)、虚拟现实(VR)、内容推荐系统、自动标注和元数据生成等领域有广泛应用。

Chatterbox

Chatterbox是Resemble AI推出的开源文本转语音(TTS)模型,基于0.5B规模的LLaMA架构,用超过50万小时精选音频训练。它支持零样本语音克隆,仅需5秒参考音频即可生成高度逼真的个性化语音,并具备情感夸张控制功能,可调节情绪、语速和语调。Chatterbox还拥有超低延迟的实时语音合成能力,延迟低至200毫秒以下,适用于交互式应用。此外,它采用安全水印技术防止滥用,适用于内容