清华大学

UniRig

UniRig是由清华大学计算机系与VAST联合开发的自动骨骼绑定框架,基于自回归模型和交叉注意力机制,可高效生成高质量骨骼结构和蒙皮权重。其支持多种3D模型类型,涵盖动漫角色、有机与无机结构等,广泛应用于动画制作、游戏开发、虚拟角色设计等领域。项目提供开源代码和详细文档,助力提升3D动画制作效率与质量。

Dolphin

Dolphin是由清华大学与海天瑞声联合开发的面向东方语言的语音识别大模型,支持40种语言及22种中文方言,具备高精度语音转文字能力。采用CTC-Attention架构,结合E-Branchformer和Transformer技术,提升识别效率与准确性。模型开源,支持自定义语言与地区设置,适用于会议记录、语音输入、智能助手等多种场景。

TIGER

TIGER是由清华大学研发的轻量级语音分离模型,采用时频交叉建模策略与多尺度注意力机制,有效提升语音分离性能,同时显著降低计算和参数开销。模型通过频带切分优化资源利用,适应复杂声学环境,广泛应用于会议记录、视频剪辑、电影音频处理及智能语音助手等领域。

TRELLIS

TRELLIS是一款由清华大学、中国科学技术大学及微软研究院共同开发的3D生成模型,利用Structured LATent(SLAT)表示法,通过文本或图像提示生成高质量、多样化的3D资产。它融合了稀疏的3D网格结构与密集视觉特征,支持多格式输出及局部编辑,无需拟合训练即可生成细节丰富的模型。此外,TRELLIS具备两阶段生成流程,可灵活适应不同需求。

RDT

RDT是清华大学AI研究院推出的一款双臂机器人操作任务扩散基础模型,拥有十亿参数量,可自主完成复杂任务,如调酒和遛狗。该模型基于模仿学习,具备强大的泛化能力和操作精度,支持多种模态输入和少样本学习。RDT已在餐饮、家庭、医疗、工业及救援等领域展现广泛应用前景,推动机器人技术发展。

紫荆AI医生

紫荆AI医生是一款由清华大学智能产业研究院开发的AI医疗平台,基于Agent Hospital模拟真实医院环境,支持AI医生诊断300多种疾病并覆盖21个科室,旨在通过虚拟诊疗实践、数据反馈等手段提升医疗服务质量和效率,同时计划未来开放更多功能如远程医疗、疾病管理及医学研究支持等。

Proactive Agent

Proactive Agent是一款由清华大学主导开发的主动式AI代理系统,它通过观察环境和用户行为来预测需求并自主发起任务,无需依赖明确指令即可完成操作。主要功能包括环境感知、上下文理解、任务执行及用户互动优化等。此外,该系统采用先进的环境模拟技术和奖励机制进行训练与评估,广泛应用于个人助理、文件管理、生活服务等多个领域。

MuCodec

MuCodec是一款由清华大学等机构联合研发的超低比特率音乐编解码工具,具备音乐压缩、特征提取、离散化处理及流匹配重建等功能。该工具能够有效压缩音乐文件,在极低比特率下仍能保证高保真度,适用于多种应用场景如在线音乐流媒体服务、音乐下载、语言模型构建以及移动设备优化等。

IterComp

IterComp是一种基于迭代反馈学习机制的文本到图像生成框架,由多所顶尖高校的研究团队联合开发。它通过整合多个开源扩散模型的优势,利用奖励模型和迭代优化策略,显著提升了生成图像的质量和准确性,尤其在多类别对象组合与复杂语义对齐方面表现突出,同时保持较低的计算开销。IterComp适用于艺术创作、游戏开发、广告设计、教育和媒体等多个领域。

Sana

SANA是一个由NVIDIA、麻省理工学院和清华大学共同研发的文本到图像生成框架,支持生成高达4096×4096分辨率的高清图像。它采用了深度压缩自编码器、线性扩散变换器(Linear DiT)和小型语言模型作为文本编码器,并通过优化的训练和采样策略提升了生成效率。SANA在模型大小和运行速度上具备显著优势,适合多种应用场景,包括艺术创作、游戏开发、广告设计和科学研究等。