推理

LLM Engineer Toolkit

一个精心整理的LLM工具库,它将120多个与LLM相关的库按照功能和用途进行了细致分类,涵盖了从训练微调、应用开发、推理服务到安全评估等 LLM 开发全流程所需的工具。

源2.0

源2.0-M32是由浪潮信息开发的一种混合专家模型(MoE),包含32个专家,采用“注意力路由器”技术,显著提升了模型的效率和准确性。该模型在代码生成、数学问题解决、科学推理等多个领域表现出色,尤其在ARC-C和MATH基准测试中超越了其他模型。源2.0-M32具有高效的计算能力和广泛的适用性,适用于多种复杂任务。

Hyper

Hyper-SD是由字节跳动研究人员开发的高效图像合成框架,通过轨迹分割一致性蒸馏(TSCD)、人类反馈学习(ReFL)和分数蒸馏等技术,显著降低了扩散模型在多步推理过程中的计算成本。该框架在保持高图像质量的同时,大幅减少了推理步骤,实现了快速生成高分辨率图像,推动了生成式AI技术的发展。

Step-1V

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。

EasyPhoto

EasyPhoto是一个用于生成AI肖像的Webui UI插件,可以用来训练与你相关的数字化替身。

Delta

Delta-CoMe是一种由清华大学NLP实验室牵头研发的增量压缩算法,它通过低秩分解与混合精度量化技术,显著减少了大型语言模型的存储和内存需求,同时保持了模型性能几乎无损。该工具支持多任务处理、推理加速,并广泛适用于云计算、边缘计算及学术研究等领域,特别擅长应对数学、代码和多模态任务。

OMNE Multiagent

OMNE Multiagent是一个基于长期记忆技术的大模型多智能体框架,由天桥脑科学研究院开发。它支持多个智能体协同工作,每个智能体能独立学习和理解环境,具备深度慢思考和实时适应能力。OMNE框架通过优化搜索空间和逻辑推理机制,提升了复杂问题的决策效率,并在金融、交通、制造、医疗等领域展现出广泛应用潜力。

AReaL

AReaL-boba 是由蚂蚁技术研究院与清华大学联合推出的开源强化学习训练框架,具备高效训练、推理能力提升、低资源训练等核心功能。其 7B 模型在数学推理任务中表现突出,且支持大规模模型的低成本复现。框架集成 SGLang 推理系统,采用数据蒸馏与工程优化技术,提升训练效率。适用于教育、自然语言处理、智能体开发等领域,具有高度可复现性和开源特性。

百度搜索AI探索版

百度推出的深度AI搜索引擎,它具备文生文能力、运算推理能力和多轮交互能力,能够提供AI摘要、诗词创作、数学运算等多种功能。

HiDiffusion

大幅提升扩散模型的图像生成质速度提升6倍,由字节跳动的研究团队开发,只需添加一行代码即可