【今日推荐TokenSpeed】:光速级LLM推理
TokenSpeed 是由 LightSeek 组织开发的 LLM 推理引擎,于 2026 年 5 月初发布。该引擎的核心定位是解决生产环境中 AI Agent 工作负载的推理需求,旨在平衡 TensorRT-LLM 的极致性能与 vLLM 的易用性。它通过 local-SPMD 静态编译器、C++/Python 混合调度器以及可插拔内核系统,在 Blackwell 架构上实现了高效的 MLA(多头潜在注意力)推理。
01核心架构与功能
- local-SPMD 建模层
配备静态编译器,支持从模块边界的放置注释自动生成集合通信代码,用户无需手写复杂的张量并行或流水线并行逻辑。 - C++/Python 混合调度器
采用双平面架构:C++ 控制平面处理请求生命周期和 KV 缓存所有权管理;Python 执行平面处理业务逻辑。通过有限状态机编码时序,由编译时类型系统强制执行 KV 资源的安全重用,避免内存泄漏。 - 可插拔分层内核系统
提供统一的公共 API 和集中式注册表,支持内核实现即插即用,并在 Blackwell 架构上提供最优的 MLA 实现。 - SMG 集成 AsyncLLM
集成了 SMG 的 AsyncLLM 入口点,用于低开销的 CPU 端请求处理,适配高并发 Agent 场景。
02部署与测试流程
- 环境准备
需要 NVIDIA GPU(推荐 Blackwell B200 或 Hopper H100)和 Docker 环境。 - 启动 Runner 容器
拉取官方镜像并运行,需配置足够的共享内存(--shm-size 32g)和 GPU 资源。docker run -itd --shm-size 32g --gpus all -v /raid/cache:/home/runner/.cache --ipc=host --network=host --pid=host --privileged --name tokenspeed lightseekorg/tokenspeed-runner:latest /bin/bash - 安装依赖
进入容器后克隆代码,分别安装 Python 运行时、kernel 包及 scheduler 包。pip install -e "./python" --no-build-isolationpip install -e tokenspeed-kernel/python/ --no-build-isolationpip install -e tokenspeed-scheduler/ - 启动服务
使用命令行启动服务,支持快速测试和生产环境配置(如 4 卡并行的 Kimi K2.5)。tokenspeed serve nvidia/Kimi-K2.5-NVFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 --attention-backend trtllm_mla - API 调用
提供 OpenAI 兼容接口,可直接使用 OpenAI SDK 连接本地服务进行推理。
03竞品对比分析
| 对比维度 | TokenSpeed | TensorRT-LLM | vLLM |
|---|---|---|---|
| 性能 | 对标 TensorRT-LLM | 极高 | 中等 |
| 易用性 | 对标 vLLM | 低,配置复杂 | 高 |
| 静态编译器 | 支持自动生成通信代码 | 不支持(需手动配置) | - |
| 调度器 | C++/Python 混合状态机 | 多样化但复杂 | 运行时管理 |
| 内核系统 | 可插拔分层架构 | 固定 | 相对固定 |
| 核心场景 | Agent 工作负载 | 通用高性能推理 | 通用场景 |
TokenSpeed 与主流推理引擎特性对比
04适用场景
TokenSpeed 目前采用 MIT 开源协议,处于 Preview Release 阶段,主要适合拥有高端硬件(Blackwell/H100)的开发者和企业团队。
核心应用场景
高并发 AI Agent 系统
针对多轮对话、工具调用及推理链优化
- 多 Agent 协作系统(如 AutoGen、MetaGPT 后端)
- 需要大量工具调用的 Agent 应用
- 长上下文推理任务(支持 262K tokens)
生产环境模型服务
兼顾性能与易用性的企业级部署
- 企业级 LLM 服务部署
- 从 vLLM 迁移到更高性能的后端
- 无缝替换现有推理服务
Blackwell 架构优化
挖掘最新硬件极致性能
- 运行 Kimi K2.5、DeepSeek V4 等最新大模型
- 充分利用 B200 GPU 架构特性
- 实现推理速度显著提升
当前文章无评论,是时候发表评论了