什么值得买App下载 App ›
连续签到专享现金活动

清华大学联手月之暗面,发布下一代AI服务架构:PrfaaS

大语言模型在服务部署中常面临“预填充”等待时间长及跨数据中心部署时的带宽瓶颈问题。针对这一挑战,清华大学与Moonshot AI(月之暗面)联合研究团队发布了一种名为PrfaaS (Prefill-as-a-Service) 的创新架构。该架构通过实现算力解耦,利用跨数据中心传输KVCache,显著提升了推理效率,为AI基础设施优化提供了新的技术路径。
01异构部署的技术瓶颈
主流的大语言模型服务通常采用“预填充”(Prefill)与“解码”(Decode)解耦的架构。预填充阶段主要负责读取和理解输入内容,计算量巨大;解码阶段则负责生成输出,对内存带宽的需求极高。为了确保数据传输速度,这两个阶段通常被限制在同一个拥有高速RDMA网络的集群内部运行。一旦尝试将计算密集型的预填充任务分流到更强的算力集群,或将带宽密集型的解码任务转移到更经济的设备上,就会遭遇“带宽墙”的阻碍。KVCache传输速度过慢会导致整个系统卡顿,使得跨数据中心的异构部署在工程上难以实现。
02PrfaaS架构的核心机制
  • 选择性卸载
    系统具备智能判断能力,不盲目分流所有任务。短请求保留在本地处理,而长上下文请求则自动卸载至独立的、具备极强计算能力的“预填充集群”中,以实现资源的最优配置。
  • 带宽感知调度
    系统能够实时监控跨数据中心的带宽状况。即使是在普通的商用以太网环境下,该机制也能通过调度算法保证数据传输的稳定性,降低对专用昂贵网络的依赖。
  • 混合前缀缓存池
    通过将不同类型的注意力状态进行池化管理,PrfaaS有效解决了模型碎片化导致的资源浪费问题,提高了存储资源的利用率。
03性能实测与提升
评估指标优化效果技术意义
服务吞吐量提升54%相比传统同构PD部署,处理能力显著增强
首字延迟 (P90 TTFT)降低64%长上下文请求的响应速度大幅优化
网络占用仅占100Gbps链路的13%证明了在现有商用基建下的高可行性与低负载

基于1万亿参数混合架构模型的测试结果

04架构价值与应用前景

PrfaaS架构带来的行业变革

硬件配置自由化

打破算力与硬件的强绑定

  • 允许将昂贵的计算卡专门用于高算力需求的预填充阶段
  • 高带宽卡可专门用于解码阶段,实现硬件资源的物尽其用
资源扩展弹性化

改变集群扩建模式

  • 企业无需为应对高峰流量而整体扩建集群
  • 支持按需独立扩展预填充或解码容量,降低运维成本
跨区域调度实践化

突破理论限制

  • 将大模型“跨区域调度”从理论模型转化为工程实践
  • 为全球LLM推理基础设施的标准化提供参考蓝图

评论

评论区空态插画

当前文章无评论,是时候发表评论了