数据集

3D

3D-Speaker是一个多模态开源项目,专注于通过结合声学、语义和视觉信息,实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码,以及多样化数据集,并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。

OmniBooth

OmniBooth是一款由华为诺亚方舟实验室与香港科技大学联合开发的图像生成框架,支持基于文本或图像的多模态指令控制及实例级定制。它通过高维潜在控制信号实现对图像中对象位置和属性的精准操控,具备多模态嵌入提取、空间变形技术以及特征对齐网络等功能,广泛应用于数据集生成、内容创作、游戏开发、虚拟现实及广告营销等领域。

LongDocURL

LongDocURL是一个由中国科学院自动化研究所和阿里巴巴联合发布的多模态长文档理解基准数据集,包含2,325组问答对,覆盖33,000页文档,涉及20个子任务。该数据集专注于评估AI模型在长文档理解、数值推理、跨元素定位及多样化任务中的性能,支持文本、图像和表格等多种模式,具有高质量和多样性的特点。

HART

HART是一种由麻省理工学院研究团队开发的自回归视觉生成模型,能够生成1024×1024像素的高分辨率图像,质量媲美扩散模型。通过混合Tokenizer技术和轻量级残差扩散模块,HART实现了高效的图像生成,并在多个指标上表现出色,包括重构FID、生成FID以及计算效率。

PromptFix

PromptFix是一款基于扩散模型的开源AI图像修复工具,支持多种图像处理任务,如上色、物体移除、去雾、去模糊等。它通过20步去噪过程精确修复图像缺陷,同时保持图像结构完整性和泛化能力。PromptFix具备高频细节保护、辅助提示适配器、零样本学习能力和大规模数据集构建等特点,适用于个人照片编辑、专业摄影、数字艺术创作、媒体广告及电影制作等多个领域。

SurfSense

SurfSense是一款开源的AI研究工具,具备强大的搜索功能和自然语言交互能力。它支持多种外部数据源集成,如搜索引擎、Slack、Notion等,并允许用户上传多种格式的文件,整合到个人知识库中。SurfSense采用RAG技术,结合语义和全文搜索,提升检索效率和准确性。同时支持本地部署,保障数据隐私,适用于个人知识管理、学术研究、企业协作等多种场景。

Chatbond

Chatbond 是一款专为企业设计的 AI 聊天机器人开发平台,支持多语言、个性化定制及多数据源集成,具备自动重新训练功能以保障信息准确性。其应用场景涵盖客户服务、电子商务、教育、人力资源和医疗保健等领域,能够显著提升运营效率和服务质量。

Rose AI

Rose AI是一个旨在帮助用户查找、参与、可视化和共享数据的云数据平台。

Lyra

Lyra是一款由香港中文大学、SmartMore和香港科技大学联合研发的高效多模态大型语言模型(MLLM)。它通过整合视觉、语音和文本三种模态的信息,实现了强大的跨模态理解和推理能力。Lyra不仅擅长处理长语音数据,还支持流式文本-语音生成及跨模态信息交互,适用于智能助手、客户服务、教育培训、医疗健康等多个领域。

3DV

3DV-TON是一种基于扩散模型的视频虚拟试穿框架,由阿里巴巴达摩院、湖畔实验室与浙江大学联合研发。该工具通过生成可动画化的纹理化3D网格作为帧级指导,提升试穿视频的视觉质量和时间一致性。其支持复杂服装图案和多样化人体姿态,提供高分辨率基准数据集HR-VVT,适用于在线购物、时尚设计、影视制作等多个领域。