部署

鲸语智客

一款基于AI技术的智能客服系统,新一代智能人机对话平台,鲸语智客通过AIGC技术实现全天候无间断服务,降低运营成本,提升用户体验。

岩芯数智大模型

岩芯数智大模型是一个多功能的企业级AI解决方案,它通过提供高效的推理、快速的训练和高准确率,帮助企业提升知识管理能力、优化业务流程,并实现智能化升级。

赤兔Chitu

Chitu(赤兔)是清华大学与清程极智联合开发的高性能大模型推理引擎,支持多种GPU及国产芯片,打破对特定硬件的依赖。其具备全场景部署能力,支持低延迟、高吞吐、小显存优化,并在性能上优于部分国外框架。适用于金融风控、智能客服、医疗诊断、交通优化和科研等领域,提供高效、稳定的推理解决方案。

Reka Flash 3

Reka Flash 3 是一款由 Reka AI 开发的开源推理模型,拥有 21 亿参数,支持多模态输入(文本、图像、视频、音频),并可处理最长 32k 个令牌的上下文。它具备高效的推理能力和多语言支持,适用于日常对话、编码辅助、指令执行等多种场景。模型可在本地部署,支持 4 位量化以降低资源占用,适合广泛的应用需求。

autoMate

autoMate是一款基于AI与RPA技术的本地化自动化工具,用户可通过自然语言描述任务,无需编程即可完成复杂操作。支持本地部署,确保数据安全,兼容主流大模型,具备智能学习能力。适用于数据处理、报告生成、邮件自动化、跨平台流程管理及日常任务调度等场景,提升工作效率并释放创造力。

文心快码

基于文心大模型,结合百度积累多年的编程现场大数据和外部优秀开源数据,打造的新一代编码辅助工具。

LitServe

LitServe是一款基于FastAPI的高性能AI模型部署引擎,专为企业级AI服务设计。它支持批处理、流式处理和GPU自动扩展,简化了模型部署流程。LitServe易于安装和使用,提供灵活的API定义和强大的服务器控制能力。它兼容多种机器学习框架,具备自动扩展和身份验证等高级特性,适用于机器学习模型部署、大语言模型服务、视觉模型推理、音频和语音处理及自然语言处理等多个领域。

cobalt

Cobalt是一款开源流媒体下载工具,支持从各大视频网站、社交媒体和音乐平台下载视频、音频和图片。其主要功能包括高分辨率视频下载(最高8K)、多种音频格式支持、字幕自动提取及个性化主题切换。用户可通过网页版或自托管Docker方式使用,无需注册即可操作,适合在线学习、视频编辑、音乐收藏等多种应用场景。

欧派算力云

欧派算力云是一家提供AI算力服务的平台,主要功能包括大模型API接口、GPU容器实例和Serverless服务。其核心技术涵盖分布式算力网络与自研推理加速引擎,显著提升模型推理性能并降低成本。平台支持多模态模型调用,适用于AI推理、训练、云渲染及元宇宙等场景,提供灵活计费与自动化管理功能,助力企业高效部署AI应用。

Awesome Chinese LLM

整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。