推理
  1. 首页
  2. 推理

列表

KTransformers

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
AI项目与工具 2025年06月12日
Long

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型，支持处理超长文本（超过100万tokens）及多模态输入（图像、视频、文本）。通过分阶段训练提升上下文理解能力，结合动态分块编码器与并行推理技术，实现高效处理长文本和高分辨率图像。模型基于开源数据训练，适用于视频分析、图像识别、长文本生成等场景，性能在多个基准测试中表现突出。
AI项目与工具 2025年06月12日
PIKE

PIKE

PIKE-RAG是由微软亚洲研究院开发的检索增强型生成框架，旨在提升复杂工业场景下的问答准确性与推理能力。通过知识原子化、多智能体规划等技术，支持多跳问题处理和创造性问题解决。适用于法律、医疗、金融等多个领域，具备结构化知识提取、动态任务分解及分阶段开发等核心功能，提高模型生成结果的可靠性和实用性。
AI项目与工具 2025年06月12日
Sa2VA

Sa2VA

Sa2VA是由字节跳动联合多所高校开发的多模态大语言模型，结合SAM2与LLaVA技术，实现对图像和视频的密集、细粒度理解。它支持指代分割、视觉对话、视觉提示理解等多种任务，具备零样本推理能力和复杂场景下的高精度分割效果。适用于视频编辑、智能监控、机器人交互、内容创作及自动驾驶等多个领域。
AI项目与工具 2025年06月12日
OpenThinker

OpenThinker

OpenThinker-32B 是一款由多所高校联合开发的开源推理模型，拥有 328 亿参数和 16,000 token 上下文支持，以高效的数据利用和严格的质量控制著称。模型基于少量数据实现优异性能，适用于数学、科学、代码生成等多种推理任务。全面开源，提供模型权重、代码和数据集，支持研究与开发扩展。
AI项目与工具 2025年06月12日
DeepClaude

DeepClaude

DeepClaude 是一款高性能开源 AI 工具，融合 DeepSeek R1 和 Claude 模型，具备推理、创造力和代码生成能力。它提供零延迟响应、端到端加密和本地 API 管理，保障数据安全。支持高度自定义，适用于智能客服、代码生成、推理分析及教育等多场景，满足多样化需求。
AI项目与工具 2025年06月12日
UltraMem

UltraMem

UltraMem是字节跳动推出的超稀疏模型架构，通过优化内存访问和计算效率，显著降低推理成本并提升速度。其核心技术包括多层结构改进、TDQKR和IVE，使模型在保持性能的同时具备更强的扩展性。适用于实时推理、大规模模型部署及多个行业场景。
AI项目与工具 2025年06月12日
TPO

TPO

TPO（Test-Time Preference Optimization）是一种在推理阶段优化语言模型输出的框架，通过将奖励模型反馈转化为文本形式，实现对模型输出的动态调整。该方法无需更新模型参数，即可提升模型在多个基准测试中的性能，尤其在指令遵循、偏好对齐、安全性和数学推理等方面效果显著。TPO具备高效、轻量、可扩展的特点，适用于多种实际应用场景。
AI项目与工具 2025年06月12日
Satori

Satori

Satori是一款由MIT和哈佛大学等机构联合开发的7B参数大语言模型，专注于提升推理能力。其采用COAT机制和两阶段训练框架，结合强化学习优化模型性能，具备自回归搜索、数学推理、跨领域任务处理以及自我纠错等核心能力。Satori在数学和逻辑推理任务中表现突出，广泛应用于科研、教育、智能客服等多个领域，代码、数据和模型均已开源。
AI项目与工具 2025年06月12日
MedRAX

MedRAX

MedRAX是一款面向胸部X光检查的医学推理AI系统，结合多模态大模型与专业工具，实现复杂医疗问题的动态处理。支持多步骤推理、精准诊断与多种影像分析功能，适用于临床支持、教育培训及远程医疗等场景。系统具备良好的扩展性与部署灵活性，已在多项基准测试中表现优异。
AI项目与工具 2025年06月12日