模型优化
MiniCPM 4.0
MiniCPM 4.0是面壁智能推出的高效端侧大模型,包含8B和0.5B两种参数规模。其采用创新稀疏架构和三值量化技术,实现模型体积缩小90%并保持高性能。自研CPM.cu推理框架在极限场景下可提升220倍速度,支持多种开源框架部署,并适配主流芯片。具备高效双频换挡机制、多平台适配和多种版本选择,适用于智能辅导、医疗辅助、客服、游戏剧情生成等场景。
OpenScholar
OpenScholar是一款由华盛顿大学与艾伦AI研究所联合研发的检索增强型语言模型,专为科学家设计,能够高效检索并综合海量科学文献信息,生成基于文献的事实性回答。该工具具备强大的跨学科适用性,涵盖计算机科学、生物医学等多个领域,同时支持自我反馈迭代优化,显著提升回答质量和引用可靠性。所有相关资源已完全开源,便于全球学者使用与研究。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
DistilQwen2.5
DistilQwen2.5-R1 是阿里巴巴推出的基于知识蒸馏技术的轻量级深度推理模型,包含多种参数量级,适用于资源受限环境。它具备高效计算、深度推理和高度适应性,支持文本生成、机器翻译、客户服务等多种任务。通过双阶段训练和认知轨迹适配框架,提升了小模型的推理能力,性能优于同类开源模型。