推理
Fireworks f1
Fireworks f1 是一款专为复杂推理任务设计的复合型 AI 模型,通过整合多个开源模型提升性能与可靠性。支持开发者通过提示词快速构建复杂 AI 应用,已在编码、对话及数学领域展现卓越能力。同时提供标准版和轻量版供用户选择,并在 AI Playground 提供免费体验。
书生·万象InternVL 2.5
书生·万象InternVL 2.5是一款开源多模态大型语言模型,基于InternVL 2.0升级而来。它涵盖了从1B到78B不同规模的模型,支持多种应用场景,包括图像和视频分析、视觉问答、文档理解和信息检索等。InternVL 2.5在多模态理解基准上表现优异,性能超越部分商业模型,并通过链式思考技术提升多模态推理能力。
SenseVoice
一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,SenseVoice具有多语种、混合语言、音色和情感控制能力。
InftyThink
InftyThink是一种创新的大模型推理范式,通过分段迭代和阶段性总结的方式,突破传统模型在长推理任务中的上下文窗口限制,显著降低计算复杂度并提升推理性能。它适用于数学问题求解、逻辑推理、代码生成、智能辅导及药物研发等多个领域,具备良好的工程可落地性和广泛的适用性。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
