量化

unsloth

Unsloth 是一款高效开源的LLM微调工具,通过优化计算流程和GPU内核设计,大幅提升训练速度并降低内存占用。支持多种主流大模型,提供动态量化、长上下文支持等功能,适用于学术研究、企业应用及资源受限环境中的模型优化。

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

Magic 1

Magic 1-For-1是由北京大学、Hedra Inc. 和 Nvidia 联合开发的高效视频生成模型,通过任务分解和扩散步骤蒸馏技术实现快速、高质量的视频生成。支持文本到图像和图像到视频两种模式,结合多模态输入提升语义一致性。采用模型量化技术降低资源消耗,适配消费级硬件。广泛应用于内容创作、影视制作、教育、VR/AR及广告等领域。

Eino

Eino是由字节跳动开源的大模型应用开发框架,采用Go语言构建,具备组件化设计、图编排引擎、流式处理和回调机制等功能,支持高效构建复杂AI应用。其可视化开发工具EinoDev降低了开发门槛,适用于智能客服、知识管理、内容创作等多种场景,具备高扩展性和良好的性能表现。

子曰

子曰-o1是网易有道推出的国内首款支持分步式讲解的推理模型,采用14B参数轻量化设计,适配消费级显卡,在低显存设备上运行稳定。通过思维链技术模拟人类思考过程,输出详细解题步骤,特别适合教育场景,如K12数学教学和AI学习辅助。其具备强逻辑推理能力和自我纠错机制,支持启发式学习,提升用户理解与自主学习能力。

TradingAgents

TradingAgents是由加州大学洛杉矶分校与麻省理工学院联合开发的多代理LLM金融交易框架,整合多种专业角色的AI代理,通过辩论与对话进行交易决策。该系统支持多类型市场数据分析,具备风险控制、动态调整与高可解释性,适用于量化交易、资产管理、个人投资等多个场景,显著提升交易效率与透明度。

StockMixer

StockMixer是一款由上海交通大学研发的股票价格预测工具,采用多层感知器(MLP)架构,通过指标混合、时间混合和股票混合三步处理股票数据,有效捕捉指标、时间和股票间的复杂关系。其主要功能包括预测股票价格趋势、优化投资组合及支持量化投资策略。凭借残差连接、层归一化及多尺度时间片段等技术手段,StockMixer在降低计算资源需求的情况下实现了卓越的预测性能。

MNN

MNN是一个由阿里巴巴开源的轻量级深度学习推理框架,支持多种模型格式和网络结构,具备高性能、低内存占用及跨平台特性。它通过模型量化、计算图优化和异构计算等技术,在移动设备和嵌入式系统中实现高效推理。主要功能涵盖模型转换、硬件加速、内存优化及多模型支持,广泛应用于图像识别、语音处理、智能家居及工业检测等领域。

VidTok

VidTok(Video Tokenizer)是一款由微软开发的开源视频处理工具,通过高效的算法将视频内容转化为“视频词”,支持连续与离散分词化,具有灵活的压缩率和多样的隐空间,适用于视频生成、内容建模及数据压缩等场景。其混合模型架构结合卷积与采样模块,辅以有限标量量化技术,实现了高质量视频重建与高效数据处理。

OmniAudio

OmniAudio-2.6B是一款专为边缘设备设计的高性能音频语言模型,具备语音识别、转录、问答、对话生成及内容创作等核心功能。其技术优势在于多模态架构的高效集成、稀疏性利用以及三阶段训练流程,支持FP16和Q4_K_M量化版本,确保在资源受限的环境下仍能稳定运行。OmniAudio-2.6B可应用于智能助手、车载系统、会议记录、教育和医疗等多个领域,为用户提供便捷、高效的语音交互体验。