分布式
  1. 首页
  2. 分布式

列表

SepLLM

SepLLM

SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架，通过压缩段落信息和优化注意力机制，显著提升推理速度与计算效率。其支持处理超长序列（达400万标记），具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景，具有良好的部署灵活性和扩展性。
AI项目与工具 2025年06月12日
Smallpond

Smallpond

Smallpond是DeepSeek推出的轻量级数据处理框架，基于DuckDB和3FS构建，支持PB级数据的高效处理。具备高性能、易用性、快速上手和分布式处理能力，适用于大规模数据预处理、实时查询、机器学习训练等场景。
AI项目与工具 2025年06月12日
3FS

3FS

3FS是DeepSeek推出的高性能分布式文件系统，专为AI训练和推理优化。采用SSD与RDMA技术，提供高达6.6 TiB/s的读取吞吐量，支持强一致性及通用文件接口。具备数据准备、加载、检查点和KVCache缓存功能，适用于大规模AI应用。在GraySort测试中表现优异，吞吐量达3.66 TiB/min，KVCache读取峰值达40 GiB/s，适用于多节点计算环境。
AI项目与工具 2025年06月12日
Profiling Data

Profiling Data

Profiling Data是DeepSeek开发的开源性能分析工具，基于PyTorch Profiler收集程序运行数据，用于优化深度学习模型的训练和推理效率。它支持可视化分析，可定位性能瓶颈、分析资源利用情况、优化通信策略，并适用于分布式系统调优。通过提供详细的运行指标，帮助开发者提升计算与通信效率，实现更高效的系统性能。
AI项目与工具 2025年06月12日
EPLB

EPLB

EPLB是DeepSeek推出的专家并行负载均衡工具，用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制，提升GPU利用率和训练效率。支持多层MoE模型，减少通信开销，适应不同场景需求。
AI项目与工具 2025年06月12日
DualPipe

DualPipe

DualPipe是由DeepSeek开发的开源双向流水线并行技术，通过将前向和反向计算分离为独立管道并行执行，显著提升大规模深度学习模型的训练效率。该技术优化了计算与通信的重叠，降低内存峰值，提高资源利用率，并支持多模态处理、多任务学习等应用场景。适用于需要高效训练和推理的AI系统。
AI项目与工具 2025年06月12日
BFS

BFS

BFS-Prover 是一种基于大语言模型的自动定理证明系统，通过改进广度优先搜索算法和长度归一化评分机制，提高证明搜索效率。系统结合专家迭代、直接偏好优化和分布式架构，支持复杂定理的高效验证，并与 Lean4 深度集成，确保形式化数学问题的逻辑正确性。适用于数学竞赛题、本科及研究生数学研究等领域，推动了自动定理证明技术的发展。
AI项目与工具 2025年06月12日
DeepEP

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。
AI项目与工具 2025年06月12日
AgentSociety

AgentSociety

AgentSociety是由清华大学开发的基于大语言模型的社会模拟平台，通过构建具有“类人心智”的智能体，模拟复杂的社会行为与现象。平台支持城市环境建模、大规模社会模拟和科研工具集成，适用于社会舆论传播、政策评估、社会极化分析及灾害响应研究。其技术特点包括异步模拟架构、分布式计算和MQTT通信，具备高度可扩展性和实时交互能力。
AI项目与工具 2025年06月12日
Long

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型，支持处理超长文本（超过100万tokens）及多模态输入（图像、视频、文本）。通过分阶段训练提升上下文理解能力，结合动态分块编码器与并行推理技术，实现高效处理长文本和高分辨率图像。模型基于开源数据训练，适用于视频分析、图像识别、长文本生成等场景，性能在多个基准测试中表现突出。
AI项目与工具 2025年06月12日