Meta正通过一系列研究重塑推荐系统的未来。从万亿参数的HSTU架构到推荐领域的Scaling Law,再到统一表征空间和训练革新,这些探索不仅解决了超大规模模型的部署难题,还通过生成式范式为推荐系统带来了新的可能性。这为理解下一代推荐技术提供了清晰的路线图。
智能速览
HSTU架构革新了Transformer,将推荐链路统一为生成式任务。
Meta提出推荐系统的Scaling Law,并采用基础-专家范式进行部署。
Meta Lattice重新设计模型空间,实现了多领域多目标的表征统一。
Wukong模型探索了非序列特征与高阶交互的Scaling Law。
Request-Only优化策略革新了推荐模型的训练方式。
精华内容
这一系列探索的核心,是构建一个能理解用户长期、动态兴趣的基础模型,并以此驱动生成式推荐的全面革新。
HSTU统一生成式
HSTU(Hierarchical Sequential Transducer)是Meta为生成式推荐设计的核心序列建模层,其参数规模达万亿级别。它对经典的Transformer架构进行了革新,旨在将用户行为序列建模、候选物品生成等多个推荐环节,统一到一个连贯的生成式任务框架中。这种统一简化了传统多阶段推荐的复杂性,使模型能够端到端地学习用户的完整兴趣路径,从而提升了推荐的精准度和一致性。
基础-专家范式
为实现超大规模模型的高效部署,Meta提出了基础-专家范式。一个庞大的基础模型在海量、多模态的用户终身历史数据上进行持续预训练,为每个候选物品生成“目标感知嵌入”。与传统静态用户嵌入不同,这种动态嵌入能结合特定物品信息,捕捉用户的瞬时上下文兴趣,为下游任务提供更丰富、更精准的信号。
训练与工程革新
除了模型架构,Meta在工程和训练策略上也进行了大量革新。例如,通过Meta Lattice重新设计模型空间,有效整合了多领域、多目标的推荐任务,降低了维护成本。Wukong模型则聚焦于非序列特征的高阶交互,探索其扩展规律。而Request-Only优化等新训练方式,进一步提升了模型训练的效率与效果,为工业级应用铺平了道路。
Meta的这一系列研究,清晰地勾勒出推荐大模型从理论探索到工业实践的完整路径。它不仅解决了规模化的挑战,更通过生成式范式为个性化服务开辟了新方向。未来,这种由强大基础模型驱动的推荐系统将如何改变人与信息的交互方式?