推理

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库,专为混合专家模型(MoE)的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核,支持 NVLink 和 RDMA 通信,优化了组限制门控算法,兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景,具有良好的系统兼容性和网络优化能力。

LocAgent

LocAgent是一款由多所高校联合开发的代码定位工具,通过构建代码库的图结构并结合大语言模型进行多跳推理,帮助开发者快速找到需修改的代码片段。支持多种开发任务,如错误修复、功能添加和性能优化,具备高效的搜索与定位能力,适用于大规模代码维护场景。

Lumina

Lumina-Image 2.0 是一款开源图像生成模型,基于扩散模型与 Transformer 架构,具有 26 亿参数。它能根据文本描述生成高质量、多风格的图像,支持中英文提示词,并具备强大的复杂提示理解能力。模型支持多种推理求解器,适用于艺术创作、摄影风格图像生成及逻辑推理场景,兼具高效性和灵活性。

Arctic

Arctic是一款由云计算公司Snowflake的AI研究团队开发的高效且开源的企业级大型语言模型,拥有480亿参数。该模型采用混合专家模型(MoE)架构,结合了密集变换器(Dense Transformer)和128个专家的特点。Arctic在成本效益、训练效率和推理效率方面具有显著优势,特别适用于企业任务,例如SQL生成、编程和指令遵循。模型基于Apache 2.0许可发布,用户可以自由使用和

SVDQuant

SVDQuant是一种由MIT研究团队开发的后训练量化技术,专注于通过4位量化减少扩散模型的内存占用和推理延迟。它利用低秩分支技术吸收量化异常值,支持DiT和UNet架构,并能无缝集成LoRAs。SVDQuant适用于移动设备、个人电脑、云计算平台及低功耗设备,可大幅提升图像生成和处理效率。

OpenThinker

OpenThinker-32B 是一款由多所高校联合开发的开源推理模型,拥有 328 亿参数和 16,000 token 上下文支持,以高效的数据利用和严格的质量控制著称。模型基于少量数据实现优异性能,适用于数学、科学、代码生成等多种推理任务。全面开源,提供模型权重、代码和数据集,支持研究与开发扩展。

商汤商量SenseChat

商汤商量SenseChat是由商汤科技推出的语言大模型,提供对话和文档理解服务,能够处理百科问答、图片理解、数学解答、代码编写等多种任务。

Talker

Talker-Reasoner是一种结合了直觉与逻辑推理能力的双模块AI代理架构,由谷歌DeepMind研发。它通过Talker模块快速生成自然语言回应,以及Reasoner模块执行复杂的逻辑推理和规划,实现了高效的任务处理和自然的人机交互。该架构支持多步推理、信念状态管理及上下文感知,适用于客户服务、健康管理、教育辅导等多个领域。

CogView

CogView-3-Plus是智谱AI研发的AI文生图模型,采用Transformer架构替代传统的UNet,优化了扩散模型中的噪声规划。它能够根据用户指令生成高质量、高美学评分的图像,支持多种分辨率,并具有实时生成图像的能力。该模型已被集成到“智谱清言”APP中,并提供API服务,适用于艺术创作、游戏设计、广告制作等多个图像生成领域。

StreamMultiDiffusion

StreamMultiDiffusion是一款开源的实时交互式图像生成框架,结合了扩散模型的高质量图像合成能力和区域控制的灵活性。用户可以实时生成和编辑图像,通过文本提示和手绘区域生成特定部分的图像,提供高质量的图像输出。其主要功能包括实时图像生成、指定区域文本到图像生成、直观的用户界面、多提示流批处理架构、快速推理技术、区域控制、稳定化技术和Semantic Palette交互式图像生成。