零样本

OpenVoice

OpenVoice是一款由MyShell开发的免费开源AI语音克隆工具,其主要功能包括精准的音色和音调克隆及灵活的语音风格控制。该工具能够捕捉并复制不同语言或口音的音色,生成自然流畅的语音,并支持零样本跨语言语音克隆。开发者可以通过GitHub项目地址进行本地安装和运行,也可以通过Lepton AI、MyShell或HuggingFace提供的在线演示体验该工具。

ID

ID-Animator是一款由腾讯光子工作室、中科大和中科院合肥物质科学研究院联合开发的零样本人类视频生成技术。它能够根据单张参考面部图像生成个性化视频,并根据文本提示调整视频内容。ID-Animator通过结合预训练的文本到视频扩散模型和轻量级面部适配器,实现高效的身份保真视频生成。其主要功能包括视频角色修改、年龄和性别调整、身份混合以及与ControlNet等现有条件模块的兼容性。

Sa2VA

Sa2VA是由字节跳动联合多所高校开发的多模态大语言模型,结合SAM2与LLaVA技术,实现对图像和视频的密集、细粒度理解。它支持指代分割、视觉对话、视觉提示理解等多种任务,具备零样本推理能力和复杂场景下的高精度分割效果。适用于视频编辑、智能监控、机器人交互、内容创作及自动驾驶等多个领域。

Gen2Act

Gen2Act是一种基于预测网络生成人类视频的机器人操作策略,由谷歌、卡内基梅隆大学和斯坦福大学联合开发。它通过零样本视频生成、闭环策略执行和视觉特征提取等技术,实现了对未见过物体和动作的高效操作,支持复杂任务的长时执行,同时减少了对机器人数据采集的需求,广泛应用于家庭、工业、医疗和灾难救援等领域。

StochSync

StochSync是一种基于扩散同步(DS)和分数蒸馏采样(SDS)的图像生成技术,适用于360°全景图和3D纹理生成。它通过引入最大随机性与多步去噪方法,兼顾图像细节与连贯性,无需额外训练即可生成高质量图像。支持高分辨率输出,适用于复杂几何纹理化任务。

OpenCity

OpenCity是一个由香港大学联合华南理工大学和百度共同研发的交通预测模型。该模型采用了Transformer架构和图神经网络,通过大规模预训练学习交通数据中的时空依赖关系,具有卓越的零样本预测能力和快速情境适应能力。OpenCity能够有效处理不同空间区域和时间的城市交通模式,并具备良好的可扩展性。其应用场景包括交通流量预测、交通拥堵分析、公共交通优化以及智能交通信号控制等。

MegaTTS 3

MegaTTS 3是由字节跳动与浙江大学合作开发的零样本文本到语音合成系统,采用轻量级扩散模型,支持中英文及混合语音合成,具备语音克隆、音色控制、韵律调节等功能。系统通过分解语音属性实现精准建模,可快速生成高质量语音,适用于教育、内容制作、语音交互等多个领域。

VideoGrain

VideoGrain是由悉尼科技大学与浙江大学联合研发的零样本多粒度视频编辑框架,支持类别级、实例级和部件级的精细化视频修改。它通过调节时空交叉注意力和自注意力机制,提升文本提示对目标区域的控制能力,确保时间一致性与特征分离,显著优于现有T2I和T2V方法。该工具无需额外参数调整,具备高效计算性能,适用于影视制作、广告营销、内容创作等多个领域。

Agent Q

Agent Q是一种自监督代理推理和搜索框架,结合了引导式蒙特卡洛树搜索(MCTS)、AI自我批评及直接偏好优化(DPO)等技术。该框架通过迭代微调和基于人类反馈的强化学习进行自我改进,在网页导航和多步任务执行中表现优异。Agent Q的主要功能包括引导式搜索、自我批评、迭代微调、多步推理任务和零样本学习。它在电子商务、在线预订服务、软件开发、客户服务、数据分析和个性化推荐等领域具有广泛应用前景。

PromptFix

PromptFix是一款基于扩散模型的开源AI图像修复工具,支持多种图像处理任务,如上色、物体移除、去雾、去模糊等。它通过20步去噪过程精确修复图像缺陷,同时保持图像结构完整性和泛化能力。PromptFix具备高频细节保护、辅助提示适配器、零样本学习能力和大规模数据集构建等特点,适用于个人照片编辑、专业摄影、数字艺术创作、媒体广告及电影制作等多个领域。