Transformer架构
  1. 首页
  2. Transformer架构

列表

MHA2MLA

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法，基于多头潜在注意力机制（MLA）优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术，显著减少KV缓存内存占用，同时保持模型性能稳定。仅需少量数据即可完成微调，适用于边缘设备、长文本处理及模型迁移等场景，具备高兼容性和低资源消耗优势。
AI项目与工具 2025年06月12日
Mercury Coder

Mercury Coder

Mercury Coder 是 Inception Labs 推出的扩散型大语言模型，专为代码生成设计。它采用“从粗到细”机制，支持并行生成，每秒可处理超过 1000 个 token，效率显著高于传统模型。具备代码生成、补全、优化、多语言支持及可控生成等功能，适用于开发效率提升、教育辅助、代码优化及低代码平台集成等场景。
AI项目与工具 2025年06月12日
OpenMusic

OpenMusic

OpenMusic是一款基于QA-MDT技术的文生音乐工具，支持从文本生成高质量音乐作品，具备质量感知训练、多样化风格生成及复杂推理能力。它广泛应用于音乐制作、多媒体内容创作、音乐教育等领域，同时提供音频编辑与处理功能，旨在提升音乐创作效率和质量。
AI项目与工具 2025年06月12日
MiniMind

MiniMind

MiniMind 是一款轻量级开源语言模型项目，具备极低的训练成本和高效的训练流程。其最小模型仅需 25.8M 参数，可在普通 GPU 上运行，支持多模态能力，如视觉语言模型 MiniMind-V。项目提供完整的训练代码，涵盖预训练、微调、LoRA、DPO 和模型蒸馏，兼容主流框架，适合初学者和开发者快速上手并应用于多个领域。
AI项目与工具 2025年06月12日
LlamaCoder

LlamaCoder

LlamaCoder 是一个基于 Llama 3.1 405B 模型的开源 AI 工具，能够快速生成全栈应用程序。它集成了 Sandpack、Next.js、Tailwind 和 Helicone 等组件，支持代码沙盒、应用路由、样式设计和可观测性分析。LlamaCoder 可根据用户请求生成组件，适用于构建多种类型的应用程序，并支持数据分析和 PDF 分析。
AI项目与工具 2025年06月12日
ModernBERT

ModernBERT

ModernBERT是一种基于Transformer架构的新型编码器-only模型，是对经典BERT模型的深度优化版本。它通过在大规模数据集上的训练，提升了对长上下文的理解能力，并在信息检索、文本分类、实体识别等多个自然语言处理任务中展现出卓越性能。此外，ModernBERT在速度和资源效率方面均有显著改进，适合应用于多个领域。
AI项目与工具 2025年06月12日
Hunyuan

Hunyuan

Hunyuan-Large是一款由腾讯开发的大规模混合专家（MoE）模型，以其庞大的参数量成为当前参数规模最大的开源MoE模型之一。该模型基于Transformer架构，擅长处理长文本任务，同时在多语言自然语言处理、代码生成以及数学运算等领域展现出色性能。通过合成数据增强训练与创新的注意力机制，Hunyuan-Large实现了高效的推理吞吐量，并广泛应用于内容创作、教育辅助、知识问答及数据分析等多
AI项目与工具 2025年06月12日
PsycoLLM

PsycoLLM

PsycoLLM是由合肥工业大学研发的中文心理大模型，基于高质量心理数据集训练，具备精准理解心理问题、多轮对话交互、情绪识别与支持、心理健康评估等功能。其技术融合了多步数据优化、监督微调和Transformer架构，适用于个人心理支持、心理咨询、教育及社区服务等场景，为心理健康领域提供专业、高效的技术解决方案。
AI项目与工具 2025年06月12日
Janus

Janus

Janus是一种由DeepSeek AI开发的自回归框架，专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能，支持多种输入模态如图像、文本等，并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力，适用于图像创作、自动标注、视觉问答等多个领域。
AI项目与工具 2025年06月12日
奇智孔明AInnoGC工业大模型

奇智孔明AInnoGC工业大模型

奇智孔明AInnoGC工业大模型是创新奇智在工业智能制造领域的重要成果，它通过其强大的参数量和专业的工业领域适应性，为制造业提供了全面的AI解决方案。
创作工具 1970年01月01日