MeteoRA
简介：MeteoRA是一种基于LoRA和混合专家架构的多任务嵌入框架，用于大型语言模型。它支持多任务适配器集成、自主任务切换、高效推理及复合任务处理，提升模型灵活性和实用性。通过动态门控机制和前向加速策略，显著提高推理效率并降低内存占用，适用于多领域问答、多语言对话等场景。
项目地址
MeteoRA是由南京大学计算机科学与技术系研究团队开发的一种多任务嵌入框架，专为大型语言模型（LLM）设计。该框架通过集成多个任务特定的LoRA（低秩适配器），实现高效的参数复用和任务切换。基于混合专家（MoE）架构，MeteoRA利用可训练的门控网络动态选择最适合当前输入的LoRA适配器，无需显式任务指令。此外，该框架还引入了MoE前向加速策略，通过自定义GPU核算子提升推理效率，同时保持较低的内存开销。实验表明，MeteoRA在多种任务中表现出与传统微调方法相当的性能，并能高效处理复合任务，在单次推理中解决多个子问题。
发表评论 取消回复