MoE
  1. 首页
  2. MoE

列表

XVERSE

XVERSE

XVERSE-MoE-A36B是一款由中国元象公司开发的先进MoE（混合专家模型）开源大模型。该模型具备2550亿总参数和360亿激活参数，性能卓越，训练时间缩短30%，推理性能提升100%。它采用前沿的MoE架构，通过稀疏激活、专家网络和门控机制等技术，实现了高效性能和低成本部署。适用于自然语言处理、内容创作、智能客服、教育辅助、信息检索及数据分析等多个领域。
AI项目与工具 2025年06月12日
MoE++

MoE++

MoE++是一种基于混合专家架构的新型深度学习框架，通过引入零计算量专家、复制专家和常数专家，有效降低计算成本并提升模型性能。它支持Token动态选择FFN专家，并利用门控残差机制实现稳定路由，同时优化计算资源分配。该框架易于部署，适用于多种应用场景，包括自然语言处理、智能客服及学术研究。
AI项目与工具 2025年06月12日
Hunyuan

Hunyuan

Hunyuan-Large是一款由腾讯开发的大规模混合专家（MoE）模型，以其庞大的参数量成为当前参数规模最大的开源MoE模型之一。该模型基于Transformer架构，擅长处理长文本任务，同时在多语言自然语言处理、代码生成以及数学运算等领域展现出色性能。通过合成数据增强训练与创新的注意力机制，Hunyuan-Large实现了高效的推理吞吐量，并广泛应用于内容创作、教育辅助、知识问答及数据分析等多
AI项目与工具 2025年06月12日
豆包大模型1.5

豆包大模型1.5

豆包大模型1.5是字节跳动推出的高性能AI模型，采用大规模稀疏MoE架构，具备卓越的综合性能和多模态能力。支持文本、语音、图像等多种输入输出方式，适用于智能辅导、情感分析、文本与视频生成等场景。模型训练数据完全自主，性能优于GPT-4o和Claude 3.5 Sonnet等主流模型，且具备成本优势。
AI项目与工具 2025年06月12日
UltraMem

UltraMem

UltraMem是字节跳动推出的超稀疏模型架构，通过优化内存访问和计算效率，显著降低推理成本并提升速度。其核心技术包括多层结构改进、TDQKR和IVE，使模型在保持性能的同时具备更强的扩展性。适用于实时推理、大规模模型部署及多个行业场景。
AI项目与工具 2025年06月12日
KTransformers

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
AI项目与工具 2025年06月12日
DeepEP

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。
AI项目与工具 2025年06月12日
COMET

COMET

COMET是字节跳动开发的Mixture-of-Experts（MoE）模型优化系统，通过细粒度计算-通信重叠技术和自适应负载分配机制，显著提升分布式训练效率。它在大规模模型中实现单层1.96倍、端到端1.71倍的加速，具备强鲁棒性与泛化能力，支持多种硬件环境和并行策略，核心代码已开源并可无缝集成至主流训练框架。
AI项目与工具 2025年06月12日
MT

MT

MT-MegatronLM 是摩尔线程推出的开源混合并行训练框架，支持密集模型、多模态模型和 MoE 模型的高效训练。采用 FP8 混合精度、高性能算子库和集合通信库，提升 GPU 集群算力利用率。通过模型并行、数据并行和流水线并行技术，实现大规模语言模型的高效分布式训练，适用于科研、企业及定制化 AI 应用场景。
AI项目与工具 2025年06月12日
TripoSG

TripoSG

TripoSG 是一种基于大规模修正流模型的高保真 3D 形状生成技术，能够从单张图像生成高质量的 3D 网格模型。其核心优势包括高分辨率重建、语义一致性、强泛化能力和稳健的性能。通过混合监督训练策略和高质量数据集，TripoSG 实现了更精准的几何表示与细节还原。该技术适用于工业设计、VR/AR、自动驾驶、教育及游戏开发等多个领域。
AI项目与工具 2025年06月12日