Transformer
天工SkyMusic
天工SkyMusic是由昆仑万维公司推出的一款AI音乐生成模型,它基于昆仑万维的天工3.0超级大模型构建而成。
ModernBERT
ModernBERT是一种基于Transformer架构的新型编码器-only模型,是对经典BERT模型的深度优化版本。它通过在大规模数据集上的训练,提升了对长上下文的理解能力,并在信息检索、文本分类、实体识别等多个自然语言处理任务中展现出卓越性能。此外,ModernBERT在速度和资源效率方面均有显著改进,适合应用于多个领域。
Memory Layers
Memory Layers是一种由Meta研发的技术,通过引入可训练的键值查找机制,为模型增加了额外参数而不增加计算负担。它通过稀疏激活模式补充计算密集型前馈层,显著提升了模型在事实性任务中的表现,同时增强了模型的记忆与知识获取能力。Memory Layers的核心优势在于其高效的信息存储与检索机制,并且在问答、语言模型、推荐系统、知识图谱及对话系统等场景中具有广泛应用前景。
Mercury Coder
Mercury Coder 是 Inception Labs 推出的扩散型大语言模型,专为代码生成设计。它采用“从粗到细”机制,支持并行生成,每秒可处理超过 1000 个 token,效率显著高于传统模型。具备代码生成、补全、优化、多语言支持及可控生成等功能,适用于开发效率提升、教育辅助、代码优化及低代码平台集成等场景。
