注意力机制

MCA

MCA-Ctrl是由中科院计算所与国科大联合开发的图像定制生成框架,通过引入SAGI和SALQ注意力控制策略及主体定位模块,提升图像生成质量与一致性。支持零样本图像生成,适用于主体特征保持、背景一致性维护等多种任务,广泛应用于数字内容创作、广告设计、艺术创作等领域。

Miras

Miras是由谷歌开发的深度学习框架,专注于序列建模任务。它基于关联记忆和注意力偏差机制,整合多种序列模型并支持新型模型设计。Miras通过保留门机制优化记忆管理,提升模型在长序列任务中的表现,适用于语言建模、常识推理、长文本处理及多模态任务,具有高效且灵活的架构优势。

万相首尾帧模型

万相首尾帧模型(Wan2.1-FLF2V-14B)是一款开源视频生成工具,基于DiT架构和交叉注意力机制,可根据用户提供的首帧和尾帧图像生成高质量、流畅的过渡视频。支持多种风格和特效,适用于创意视频制作、影视特效、广告营销等多个场景。模型具备细节复刻、动作自然、指令控制等功能,且提供GitHub和HuggingFace开源资源供用户使用。

DCEdit

DCEdit是一款基于双层控制机制的图像编辑工具,结合精确语义定位策略与视觉、文本自注意力优化,提升图像编辑的准确性和可控性。无需额外训练即可应用于现有扩散模型,支持复杂场景下的精细编辑任务,如对象替换、颜色调整等,适用于广告、影视、社交媒体等多个领域。

MIDI

MIDI是一种基于多实例扩散模型的3D场景生成技术,能将单张2D图像快速转化为高保真度的360度3D场景。它通过智能分割、多实例同步扩散和注意力机制,实现高效的3D建模与细节优化。具有良好的泛化能力,适用于游戏开发、虚拟现实、室内设计及文物数字化等多个领域。

Motion Anything

Motion Anything 是一款由多所高校与企业联合研发的多模态运动生成框架,可基于文本、音乐或两者结合生成高质量人类运动。其核心在于基于注意力的掩码建模和跨模态对齐技术,实现对运动序列的精细控制与动态优先级调整。该工具支持影视动画、VR/AR、游戏开发、人机交互及教育等多个应用场景,并配套提供 Text-Music-Dance (TMD) 数据集,推动多模态运动生成技术的发展。

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法,基于多头潜在注意力机制(MLA)优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术,显著减少KV缓存内存占用,同时保持模型性能稳定。仅需少量数据即可完成微调,适用于边缘设备、长文本处理及模型迁移等场景,具备高兼容性和低资源消耗优势。

SepLLM

SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架,通过压缩段落信息和优化注意力机制,显著提升推理速度与计算效率。其支持处理超长序列(达400万标记),具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景,具有良好的部署灵活性和扩展性。

SigStyle

SigStyle是一款由多所高校与Adobe合作开发的签名风格迁移框架,能将单张风格图像的视觉特征(如几何结构、色彩和笔触)精准迁移到目标图像,同时保持内容的语义和结构。其核心技术基于个性化文本到图像扩散模型,结合超网络和时间感知注意力交换技术,实现高效且高质量的风格迁移。支持多种应用场景,如艺术创作、时尚设计、影视制作等,具备灵活性和广泛适用性。

FlashMLA

FlashMLA 是 DeepSeek 开发的开源 MLA 解码内核,针对 NVIDIA Hopper 架构 GPU 优化,提升可变长度序列处理效率。支持 BF16 精度、页式 KV 缓存及分块调度,内存带宽达 3000 GB/s,算力达 580 TFLOPS。适用于大语言模型推理和 NLP 任务,具备高性能与低延迟特性,支持快速部署与性能验证。