长序列用户行为对推荐效果至关重要，但Transformer模型随序列增长计算成本剧增。Meta推荐系统团队提出“个性化专家”机制，通过压缩历史行为，在几乎不影响效果的前提下，将推理成本降至1/4，为工业级应用提供了实用解决方案。
智能速览
将长历史压缩为少量可学习token，显著降低计算量。
“压缩历史+最近行为”组合性能接近甚至优于完整长序列。
Transformer推理成本可降至原来的四分之一。
该方法可直接套用到现有Transformer推荐模型，无需改动架构。
压缩自早期历史的token在数百步行为后依然有效，长期兴趣稳定。
精华内容
这项名为“个性化专家”的机制，其核心思想并不复杂，但巧妙地平衡了效果与成本。下面将深入拆解其实现原理与关键优势。
核心压缩原理
该方法的核心是将用户的历史行为序列划分为多个segment。对于较早的历史行为，不再直接保留原始序列，而是通过少量可学习的token进行压缩，形成代表用户长期兴趣的“个性化专家”。在推理时，模型只需要处理这些压缩后的专家token和最近一段原始行为，从而大幅减少了计算量。
效果不降反升
实验数据表明，这种“压缩历史+最近行为”的组合方式在HSTU、HLLM等多个业界先进的模型上，其推荐效果几乎与使用完整1280或2000长序列的模型等价，甚至在部分场景下略有提升。这说明压缩过程并未丢失关键信息，反而可能起到了去噪和提炼核心兴趣的作用。
推理成本骤降
推理加速的实现依赖于segment级别的推理与KV cache复用技术。模型无需对整段历史进行全量attention计算，只需关注压缩后的专家token和近期行为。这使得Transformer的推理计算复杂度得到有效控制，最终实现了推理成本降至原先1/4的显著提升，直接解决了工业应用的核心瓶颈。
工程实践优势
该机制具备优秀的工程兼容性，不依赖于全新的模型架构，仅通过调整attention mask和插入可学习token，即可轻松集成到现有的Transformer推荐模型中。此外，实验还发现，压缩自早期历史的个性化专家token具有很好的稳定性，在用户产生数百个新行为后依然能保持有效性，不会快速失效。
Meta的“个性化专家”机制为长序列推荐的落地提供了极具价值的思路。它证明了通过智能压缩历史信息，完全可以在保证效果的同时，大幅优化工程成本。这一方案是否会成为未来推荐系统的标配，值得期待。
