部署
Reflection AI
Reflection AI是一个零代码AI Agent开发平台,用户可以创建个性化的AI聊天机器人,模仿真人的沟通风格。该平台基于生成式AI技术,尤其是大型语言模型(LLMs),允许用户通过个人数据训练AI,使其能够以独特方式进行交流。主要功能包括个性化AI Agent创建、快速部署、学习和适应、自定义和微调以及多渠道集成。应用场景广泛,涵盖客户服务、个人助理、社交媒体管理、教育和医疗咨询等领域。
SenseVoice
一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,SenseVoice具有多语种、混合语言、音色和情感控制能力。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。