工具
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Alpha Engine
Alpha Engine 是一款面向资本市场的 AI 投研工具,提供全面的数据库、智能搜索、会议记录、文件转录、摘要提取及翻译等功能。通过 AI 技术提升投研效率,支持实时数据更新与个性化知识管理,适用于分析师、投资者及研究人员,助力精准决策与信息获取。
