Mooncake Mooncake是一个以KVCache为中心的分布式大模型推理架构，由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段，有效利用GPU集群的其他资源，显著提升推理吞吐量，降低算力消耗，同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理，适用于多种应用场景，包括自然语言处理、语音识别、搜索引擎优化等，推动大模型技术的高效应用。 AI项目与工具 2025年06月12日 57 点赞 0 评论 768 浏览
BFS BFS-Prover 是一种基于大语言模型的自动定理证明系统，通过改进广度优先搜索算法和长度归一化评分机制，提高证明搜索效率。系统结合专家迭代、直接偏好优化和分布式架构，支持复杂定理的高效验证，并与 Lean4 深度集成，确保形式化数学问题的逻辑正确性。适用于数学竞赛题、本科及研究生数学研究等领域，推动了自动定理证明技术的发展。 AI项目与工具 2025年06月12日 75 点赞 0 评论 778 浏览
EPLB EPLB是DeepSeek推出的专家并行负载均衡工具，用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制，提升GPU利用率和训练效率。支持多层MoE模型，减少通信开销，适应不同场景需求。 AI项目与工具 2025年06月12日 10 点赞 0 评论 854 浏览
Lingua Lingua是Meta AI推出的轻量级代码库，专注于大规模语言模型的训练与推理。它基于PyTorch框架，具有模块化设计、分布式训练支持以及灵活的自定义能力，适用于学术研究、工业部署及模型优化等多个领域。Lingua支持端到端训练、性能优化、多GPU协作，并提供丰富的工具来管理和保存模型。 AI项目与工具 2025年06月12日 71 点赞 0 评论 863 浏览
NeMo NeMo 是一款基于 NVIDIA 技术的端到端云原生框架，专为生成式 AI 模型的设计与部署而打造。它具备模块化架构、多模态支持、优化算法及分布式训练能力，可应用于语音识别、自然语言处理、文本到语音转换、对话式 AI 等多个领域，同时支持预训练模型微调和端到端开发流程，为企业提供高效灵活的解决方案。 AI项目与工具 2025年06月12日 38 点赞 0 评论 931 浏览
Oumi Oumi 是一个开源 AI 平台，支持从数据准备到模型部署的全流程开发。它提供零样板代码体验，支持多种训练方法和多模态模型，适用于自动驾驶、人机交互、学术研究等多个场景。平台具备高效的分布式训练能力和灵活的部署选项，适合企业和研究机构使用。 AI项目与工具 2025年06月12日 26 点赞 0 评论 931 浏览
MT MT-MegatronLM 是摩尔线程推出的开源混合并行训练框架，支持密集模型、多模态模型和 MoE 模型的高效训练。采用 FP8 混合精度、高性能算子库和集合通信库，提升 GPU 集群算力利用率。通过模型并行、数据并行和流水线并行技术，实现大规模语言模型的高效分布式训练，适用于科研、企业及定制化 AI 应用场景。 AI项目与工具 2025年06月12日 25 点赞 0 评论 958 浏览
