推理

1. 首页
2. 推理

LLM Engineer Toolkit

一个精心整理的LLM工具库，它将120多个与LLM相关的库按照功能和用途进行了细致分类，涵盖了从训练微调、应用开发、推理服务到安全评估等 LLM 开发全流程所需的工具。

Ai学习资源 2025年06月05日 71 点赞 0 评论 178 浏览

赤兔Chitu

Chitu（赤兔）是清华大学与清程极智联合开发的高性能大模型推理引擎，支持多种GPU及国产芯片，打破对特定硬件的依赖。其具备全场景部署能力，支持低延迟、高吞吐、小显存优化，并在性能上优于部分国外框架。适用于金融风控、智能客服、医疗诊断、交通优化和科研等领域，提供高效、稳定的推理解决方案。

AI项目与工具 2025年06月12日 25 点赞 0 评论 179 浏览

fal

Fal 是一款面向开发者的 AI 工具平台，专注于音频、视频和图像生成与处理。它具备高性能推理引擎、跨平台支持、自然语言处理功能及实时交互式应用支持。通过灵活的按需付费模式，Fal 可广泛应用于创意设计、广告营销、游戏开发、教育培训和电子商务等领域。

AI项目与工具 2025年06月12日 18 点赞 0 评论 181 浏览

Ovis2

Ovis2是阿里巴巴国际团队开发的多模态大语言模型，采用结构化嵌入对齐技术提升视觉与文本的融合效果。支持视频、图像和多语言处理，强化了思维链推理和复杂场景下的OCR能力。提供多个参数规模的版本，适用于研究、开发及各类应用场景，展现卓越性能。

AI项目与工具 2025年06月12日 67 点赞 0 评论 182 浏览

讯飞星火X1

讯飞星火X1是科大讯飞推出的基于全国产算力平台训练的大型语言模型，具备深度推理和“慢思考”能力，适用于数学、代码、逻辑推理、文本生成等任务。支持快慢思考统一模型，部署简便，算力需求低。广泛应用于教育、医疗、健康管理等领域，提供精准的智能服务与解决方案。

AI项目与工具 2025年06月12日 99 点赞 0 评论 182 浏览

LaTRO

LaTRO（Latent Reasoning Optimization）是一种用于提升大型语言模型推理能力的框架，通过将推理过程视为潜在分布采样并采用变分推断方法进行优化，无需外部反馈即可增强模型生成高质量推理路径的能力。该框架支持自奖励机制、联合学习及梯度估计等技术，广泛应用于数学问题求解、科学问题解答、编程任务、逻辑推理以及自然语言理解等领域，有助于构建更智能、更自主的问题解决系统。

AI项目与工具 2025年06月12日 45 点赞 0 评论 185 浏览

HK

HK-O1aw是一款由香港生成式AI研发中心与北京大学合作推出的专业法律推理大模型，基于深度学习技术和神经网络架构，专注于慢思考和链式推理。它能够深入分析法律文本，提供逻辑严密的法律意见，涵盖合同审查、消费者权益保护、商业调解等多个应用场景，适合法律从业者、教育机构以及普通用户使用。

AI项目与工具 2025年06月12日 15 点赞 0 评论 186 浏览

Reka Flash 3

Reka Flash 3 是一款由 Reka AI 开发的开源推理模型，拥有 21 亿参数，支持多模态输入（文本、图像、视频、音频），并可处理最长 32k 个令牌的上下文。它具备高效的推理能力和多语言支持，适用于日常对话、编码辅助、指令执行等多种场景。模型可在本地部署，支持 4 位量化以降低资源占用，适合广泛的应用需求。

AI项目与工具 2025年06月12日 70 点赞 0 评论 188 浏览

MedRAX

MedRAX是一款面向胸部X光检查的医学推理AI系统，结合多模态大模型与专业工具，实现复杂医疗问题的动态处理。支持多步骤推理、精准诊断与多种影像分析功能，适用于临床支持、教育培训及远程医疗等场景。系统具备良好的扩展性与部署灵活性，已在多项基准测试中表现优异。

AI项目与工具 2025年06月12日 68 点赞 0 评论 189 浏览

Kimi

Kimi-VL是月之暗面推出的轻量级多模态视觉语言模型，支持图像、视频、文档等多种输入形式。其基于轻量级MoE架构和原生分辨率视觉编码器，具备强大的图像感知、数学推理和OCR能力。在长上下文（128K）和复杂任务中表现优异，尤其在多模态推理和长视频理解方面超越同类模型。适用于智能客服、教育、医疗、内容创作等多个领域。

AI项目与工具 2025年06月11日 30 点赞 0 评论 190 浏览