部署
SenseVoice
一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,SenseVoice具有多语种、混合语言、音色和情感控制能力。
Mistral Small 3
Mistral Small 3 是一款由 Mistral AI 推出的开源大语言模型,具备 240 亿参数,支持多语言处理,适用于低延迟场景。模型基于 Transformer 架构,支持长文本输入,具备高性能和本地部署能力。其可定制性强,适用于虚拟助手、客服系统、自动化任务及专业领域应用,如医疗和法律咨询。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Monica bots
Monica Bots是什么?Monica Bots是一个能助力用户快速创建和部署智能助手(Bots)的平台,即使没有技术背景的人也能轻松上手构建和管理自己的A
