MoE
  1. 首页
  2. MoE

列表

MoE++

MoE++

MoE++是一种基于混合专家架构的新型深度学习框架，通过引入零计算量专家、复制专家和常数专家，有效降低计算成本并提升模型性能。它支持Token动态选择FFN专家，并利用门控残差机制实现稳定路由，同时优化计算资源分配。该框架易于部署，适用于多种应用场景，包括自然语言处理、智能客服及学术研究。
AI项目与工具 2025年06月12日
MiniMax 大语言模型

MiniMax 大语言模型

它基于海量中文数据训练而成，拥有超过1000亿个参数，能够处理上百TB的文本数据。
创作工具 1970年01月01日
DeepEP

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。
AI项目与工具 2025年06月12日
COMET

COMET

COMET是字节跳动开发的Mixture-of-Experts（MoE）模型优化系统，通过细粒度计算-通信重叠技术和自适应负载分配机制，显著提升分布式训练效率。它在大规模模型中实现单层1.96倍、端到端1.71倍的加速，具备强鲁棒性与泛化能力，支持多种硬件环境和并行策略，核心代码已开源并可无缝集成至主流训练框架。
AI项目与工具 2025年06月12日
ICEdit

ICEdit

ICEdit是由浙江大学与哈佛大学联合开发的指令式图像编辑框架，基于扩散变换器实现自然语言驱动的图像修改。支持多轮编辑、风格转换、对象替换等功能，具有高效处理能力（单张图像约9秒）。采用LoRA-MoE混合微调策略，降低资源需求，适用于创意设计、影视制作、社交媒体等多个领域。开源且提供在线体验，便于研究与应用。
AI项目与工具 2025年06月11日
KTransformers

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
AI项目与工具 2025年06月12日
Dialogue.moe

Dialogue.moe

一个用于动漫台词对白搜索的在线搜索引擎，Dialogue收录了大量的动画和漫画的经典台词，可以通过搜索引擎来查找自己喜欢的作品，也可以通过浏览分类来查找相应的作品。
剧本文案 2025年06月05日
ChatDLM

ChatDLM

ChatDLM是由Qafind Labs开发的高效扩散语言模型，结合区块扩散与专家混合技术，具备7B参数规模，推理速度达2800 tokens/s，支持131,072 tokens的超长上下文处理。其核心优势包括高效文本生成、可控生成与局部修复、资源高效性及动态优化能力。适用于多轮对话、实时情绪监测、长文档创作及学术研究等场景，支持垂直领域知识召回率提升至95.6%。
AI项目与工具 2025年06月11日
XVERSE

XVERSE

XVERSE-MoE-A36B是一款由中国元象公司开发的先进MoE（混合专家模型）开源大模型。该模型具备2550亿总参数和360亿激活参数，性能卓越，训练时间缩短30%，推理性能提升100%。它采用前沿的MoE架构，通过稀疏激活、专家网络和门控机制等技术，实现了高效性能和低成本部署。适用于自然语言处理、内容创作、智能客服、教育辅助、信息检索及数据分析等多个领域。
AI项目与工具 2025年06月12日
Hunyuan

Hunyuan

Hunyuan-Large是一款由腾讯开发的大规模混合专家（MoE）模型，以其庞大的参数量成为当前参数规模最大的开源MoE模型之一。该模型基于Transformer架构，擅长处理长文本任务，同时在多语言自然语言处理、代码生成以及数学运算等领域展现出色性能。通过合成数据增强训练与创新的注意力机制，Hunyuan-Large实现了高效的推理吞吐量，并广泛应用于内容创作、教育辅助、知识问答及数据分析等多
AI项目与工具 2025年06月12日