APB APB是一种由清华大学等机构开发的分布式长上下文推理框架，通过稀疏注意力机制和序列并行推理提升大模型处理长文本的效率。采用更小的Anchor Block和Passing Block，结合查询感知的上下文压缩技术，减少计算开销并精准传递关键信息。在128K长度文本上，APB推理速度比Flash Attention快10倍，比Star Attention快1.6倍，适用于多种分布式环境和模型规模，广泛 AI项目与工具 2025年06月12日 64 点赞 0 评论 512 浏览
