大型语言模型在分布式架构下面临调度挑战，传统方法导致响应延迟。交错批量调度（SBS）技术通过延迟处理来优化批次，有效降低了首次令牌到达时间并提升了整体吞吐量，为大规模LLM高效部署提供了新思路。
智能速览
传统即时调度在DP+EP架构下引发内部队列问题。
交错批量调度（SBS）通过缓冲请求来优化执行批次。
该机制将首次令牌到达时间（TTFT）降低了30%-40%。
负载感知全局分配策略平衡了预填充和解码的负载。
在DeepSeek-V3生产环境中，系统吞吐量提升了15%-20%。
精华内容
面对分布式LLM的调度难题，传统的即时调度方式已显疲态。一种名为交错批量调度（SBS）的新策略，通过“等待”来换取速度，带来了显著的性能提升。
调度困境
大型语言模型向DP+EP等复杂分布式架构演进时，传统的即时请求调度策略暴露了根本性缺陷。该策略忽略推理引擎的“忙碌状态”，导致请求在实例内部排队，形成严重的队头阻塞问题。这种内部排队不仅增加了首次令牌到达时间（TTFT），还造成了计算资源的浪费，即“并行化泡沫”，使得空闲资源无法得到有效利用，整体效率低下。
交错批处理
为解决上述问题，交错批量调度（SBS）机制应运而生。其核心思想是反直觉的“延迟处理”：系统并非立即处理到达的请求，而是设置一个自适应的等待窗口，通过缓冲来形成最优化的执行批次。这种时间上的解耦，从根本上消除了设备端的内部队列泡沫，使得请求能够被更均匀、高效地调度，从而在不牺牲吞吐量的前提下，显著缩短了TTFT。
负载均衡策略
SBS的缓冲窗口不仅用于形成批次，还为调度器提供了全局视图。基于此，研究团队引入了负载感知全局分配策略。该策略能够统一管理预填充和解码这两个计算特征迥异的阶段，智能地平衡各个数据并行（DP）单元间的计算负载。这避免了某些单元过载而其他单元空闲的情况，确保了整个集群资源的均衡利用，进一步提升了系统吞吐量。
实测性能提升
在一个服务于DeepSeek-V3模型的生产H800集群中，SBS系统的效果得到了实证。与最先进的即时调度基线相比，新系统将首次令牌到达时间（TTFT）降低了30%至40%，直接提升了用户的交互体验。同时，系统的整体吞吐量也实现了15%至20%的增长，这意味着在相同硬件资源下，能够服务更多的并发请求，显著提高了基础设施的效率和经济性。
交错批量调度（SBS）通过优化调度策略，成功解决了大规模分布式LLM的效率瓶颈，实现了延迟与吞吐量的双重提升。这一思路为未来更复杂AI模型的部署提供了重要参考，如何在等待与执行间找到最佳平衡点，将成为持续优化的关键。
