GPU
  1. 首页
  2. GPU

列表

COMET

COMET

COMET是字节跳动开发的Mixture-of-Experts（MoE）模型优化系统，通过细粒度计算-通信重叠技术和自适应负载分配机制，显著提升分布式训练效率。它在大规模模型中实现单层1.96倍、端到端1.71倍的加速，具备强鲁棒性与泛化能力，支持多种硬件环境和并行策略，核心代码已开源并可无缝集成至主流训练框架。
AI项目与工具 2025年06月12日
EPLB

EPLB

EPLB是DeepSeek推出的专家并行负载均衡工具，用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制，提升GPU利用率和训练效率。支持多层MoE模型，减少通信开销，适应不同场景需求。
AI项目与工具 2025年06月12日
DeepEP

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。
AI项目与工具 2025年06月12日
FlashMLA

FlashMLA

FlashMLA 是 DeepSeek 开发的开源 MLA 解码内核，针对 NVIDIA Hopper 架构 GPU 优化，提升可变长度序列处理效率。支持 BF16 精度、页式 KV 缓存及分块调度，内存带宽达 3000 GB/s，算力达 580 TFLOPS。适用于大语言模型推理和 NLP 任务，具备高性能与低延迟特性，支持快速部署与性能验证。
AI项目与工具 2025年06月12日
Together AI

Together AI

Together AI 是一家提供生成式 AI 云服务的平台，支持模型快速推理、微调及训练，具备高性能、低成本和可扩展性。平台提供无服务器或专用端点部署，支持企业级 VPC，确保数据安全。其 GPU 集群支持大规模 AI 计算，适用于内容创作、企业应用、网络安全等多个领域，满足从模型优化到定制开发的全流程需求。
AI项目与工具 2025年06月12日
unsloth

unsloth

Unsloth 是一款高效开源的LLM微调工具，通过优化计算流程和GPU内核设计，大幅提升训练速度并降低内存占用。支持多种主流大模型，提供动态量化、长上下文支持等功能，适用于学术研究、企业应用及资源受限环境中的模型优化。
AI项目与工具 2025年06月12日
KTransformers

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
AI项目与工具 2025年06月12日
NobodyWho

NobodyWho

NobodyWho是一款专为Godot游戏引擎设计的AI插件，支持本地运行大型语言模型（LLM），提供高效、安全的互动叙事功能。其核心特性包括本地化处理、GPU加速、多上下文支持、流式输出、采样器调节、语义嵌入、工具调用及记忆功能。适用于互动小说、动态对话系统及多线叙事等场景，帮助开发者构建更真实、灵活的游戏内容。
AI项目与工具 2025年06月12日
VisoMaster

VisoMaster

VisoMaster 是一款基于 AI 的面部编辑与换脸工具，支持图片、视频及直播场景，能生成自然逼真的换脸效果。采用 GPU 加速与自定义模型功能，适用于影视、广告、视频创作等领域。核心技术包括深度学习与 GANs，实现高精度面部特征提取与图像合成，支持实时预览与参数调整，提升用户体验与效率。
AI项目与工具 2025年06月12日
BEN2

BEN2

BEN2是一款由Prama LLC开发的深度学习图像和视频处理工具，专注于高效、精准的背景移除与前景分割。采用置信度引导抠图技术，可处理复杂细节，如头发和边缘，确保高精度分割。支持4K图像处理，具备GPU加速功能，适用于图像编辑、视频剪辑及批量处理等多种应用场景。
AI项目与工具 2025年06月12日