大模型长上下文能力的实现，不再局限于云端。面壁智能推出的SALA稀疏-线性混合注意力架构，有效解决了传统Transformer在处理超长文本时的计算瓶颈，首次在消费级显卡上实现了9B模型百万上下文的无损运行，为端侧Agent的普及铺平了道路。
智能速览
SALA架构将75%线性注意力与25%稀疏注意力混合，实现效率与精度平衡。
基于SALA的MiniCPM-SALA模型首次在5090显卡上跑通百万上下文。
在256K序列上，MiniCPM-SALA推理速度比同尺寸开源模型快2倍以上。
该架构通过HALO方法实现低成本从全注意力到混合注意力的转换。
面壁联合发起SOAR大奖赛，推动端侧百万Token推理性能突破。
精华内容
如何让端侧模型也能“吞下”百万上下文？传统Transformer的O(N²)计算复杂度是核心瓶颈，而新的混合注意力架构正在为此提供答案。
SALA架构解析
SALA架构的核心在于将75%的线性注意力与25%的稀疏注意力进行混合。线性注意力部分采用Lightning Attention，负责高效建模长文本的全局信息，其计算方式接近全注意力，便于现有模型迁移。稀疏注意力部分则采用InfLLM v2，精准捕捉关键局部信息，按需计算KV对，大幅提升效率。两者通过混合位置编码HyPE实现协同，保证了长文本处理的稳定与精确。
端侧部署突破
基于SALA架构的开源模型MiniCPM-SALA，在端侧部署上实现了显著突破。得益于极低的显存占用和计算开销，该模型首次在RTX 5090这类消费级显卡上完整跑通了1M上下文。实测数据显示，在处理256K长序列时，其推理速度相比同尺寸开源模型提升超过2倍。当上下文扩展至512K乃至1M时，其他模型普遍遭遇显存瓶颈，MiniCPM-SALA仍能稳定运行。
为何是混合注意力
传统方案各有短板。纯线性注意力虽能处理百万上下文，但有损压缩会导致早期信息遗忘。原生稀疏注意力虽精度高，但全量KV Cache在端侧部署成本过高。状态空间模型如Mamba推理效率高，但在精确指令遵循上不够稳定。SALA的混合设计正是为了取长补短，用线性机制承载大规模上下文，用稀疏机制补足关键位置的精度，实现了效率、精度与可部署性的平衡。
推动生态发展
面壁智能不仅开源了MiniCPM-SALA模型，还联合发起SOAR稀疏算子加速大奖赛，目标是在消费级GPU上实现百万Token推理且KV Cache小于6GB。这一举措旨在将技术能力交予开发者，共同探索端侧长文本处理的极限。其长远目标是构建“百万上下文时代个人智能体”，让通讯录、聊天记录等隐私数据能在本地被高效处理，实现真正懂你的个人助理。
面壁SALA架构的成功实践，标志着大模型长上下文能力正从云端向端侧迁移。这不仅是一次技术架构的革新，更预示着个人智能体未来的形态。当百万上下文成为端侧的基础能力，AI的应用场景将迎来怎样的爆发？
