Transformer
DanceFusion
DanceFusion是一款由清华大学开发的开源框架,专注于音频驱动的舞蹈动作生成与重建。它采用分层时空Transformer-VAE和扩散模型,能够处理不完整或嘈杂的数据,生成与音乐高度同步的逼真舞蹈动作。该工具支持多种应用场景,包括内容创作、虚拟现实、互动娱乐、舞蹈教育以及动画制作等,展现了其在多领域的应用价值。
WorldDreamer
WorldDreamer 是一种基于 Transformer 的通用世界模型,具备理解与预测物理世界动态变化的能力,专注于视频生成任务。它支持多种应用场景,包括文本到视频、图像到视频、视频编辑和动作序列生成,利用视觉 Token 化、Transformer 架构和多模态提示技术,实现了高效且高质量的视频生成。
ModernBERT
ModernBERT是一种基于Transformer架构的新型编码器-only模型,是对经典BERT模型的深度优化版本。它通过在大规模数据集上的训练,提升了对长上下文的理解能力,并在信息检索、文本分类、实体识别等多个自然语言处理任务中展现出卓越性能。此外,ModernBERT在速度和资源效率方面均有显著改进,适合应用于多个领域。
Large Motion Model
Large Motion Model(LMM)是一款由新加坡南洋理工大学S-Lab和商汤科技合作研发的多模态运动生成框架。它支持从文本、音乐等多种模态生成逼真运动序列,具备高度精准的身体部位控制能力和强大的泛化能力。通过整合多样化的MotionVerse数据集以及创新性的ArtAttention机制和预训练策略,LMM在多个领域展现出高效的应用潜力,包括动画、虚拟现实、影视特效及运动分析等。