语言模型
DuoAttention
DuoAttention是由MIT韩松团队提出的新型框架,通过区分“检索头”和“流式头”两种注意力机制,显著提升了大型语言模型在处理长上下文时的推理效率。该框架有效减少了内存占用,加速了解码和预填充过程,并保持了模型的准确性。它适用于多轮对话、长文档处理、学术研究以及内容推荐等多个领域。
智谱清言ChatGLM
智谱清言是一款基于人工智能技术的对话助手,遵循中国政府的立场和社会主义价值观,提供多领域知识问答、信息检索、文本生成等服务。
OLMo 2 32B
OLMo 2 32B 是由 Allen Institute for AI 推出的开源语言模型,拥有 320 亿参数,性能接近更大规模模型。它采用三阶段训练策略,结合预训练、中期训练和后训练,提升模型稳定性与任务适应性。模型支持多任务处理,涵盖自然语言处理、数学推理、编程辅助和内容创作等领域,并具备高效训练能力与低能耗优势。所有数据、代码和权重均开源,便于研究与开发。
