计算
Finedefics
Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型,专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述,结合对比学习方法,实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色,准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Ministral 3B/8B
Ministral 3B 和 8B 是由 Mistral AI 开发的两款轻量级 AI 模型,专为设备端和边缘计算设计。它们具备强大的知识处理能力和高效的上下文管理能力,支持长达 128k 的上下文长度,并通过独特的交错滑动窗口注意力机制提升了推理速度。这些模型适用于设备端翻译、本地数据分析、智能助手及自主机器人等领域,同时支持无损量化和私有部署。