什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

【今日推荐TokenSpeed】:光速级LLM推理

TokenSpeed 是由 LightSeek 组织开发的 LLM 推理引擎,于 2026 年 5 月初发布。该引擎的核心定位是解决生产环境中 AI Agent 工作负载的推理需求,旨在平衡 TensorRT-LLM 的极致性能与 vLLM 的易用性。它通过 local-SPMD 静态编译器、C++/Python 混合调度器以及可插拔内核系统,在 Blackwell 架构上实现了高效的 MLA(多头潜在注意力)推理。
01核心架构与功能
  • local-SPMD 建模层
    配备静态编译器,支持从模块边界的放置注释自动生成集合通信代码,用户无需手写复杂的张量并行或流水线并行逻辑。
  • C++/Python 混合调度器
    采用双平面架构:C++ 控制平面处理请求生命周期和 KV 缓存所有权管理;Python 执行平面处理业务逻辑。通过有限状态机编码时序,由编译时类型系统强制执行 KV 资源的安全重用,避免内存泄漏。
  • 可插拔分层内核系统
    提供统一的公共 API 和集中式注册表,支持内核实现即插即用,并在 Blackwell 架构上提供最优的 MLA 实现。
  • SMG 集成 AsyncLLM
    集成了 SMG 的 AsyncLLM 入口点,用于低开销的 CPU 端请求处理,适配高并发 Agent 场景。
02部署与测试流程
  1. 环境准备
    需要 NVIDIA GPU(推荐 Blackwell B200 或 Hopper H100)和 Docker 环境。
  2. 启动 Runner 容器
    拉取官方镜像并运行,需配置足够的共享内存(--shm-size 32g)和 GPU 资源。
    docker run -itd --shm-size 32g --gpus all -v /raid/cache:/home/runner/.cache --ipc=host --network=host --pid=host --privileged --name tokenspeed lightseekorg/tokenspeed-runner:latest /bin/bash
  3. 安装依赖
    进入容器后克隆代码,分别安装 Python 运行时、kernel 包及 scheduler 包。
    pip install -e "./python" --no-build-isolation
    pip install -e tokenspeed-kernel/python/ --no-build-isolation
    pip install -e tokenspeed-scheduler/
  4. 启动服务
    使用命令行启动服务,支持快速测试和生产环境配置(如 4 卡并行的 Kimi K2.5)。
    tokenspeed serve nvidia/Kimi-K2.5-NVFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 --attention-backend trtllm_mla
  5. API 调用
    提供 OpenAI 兼容接口,可直接使用 OpenAI SDK 连接本地服务进行推理。
03竞品对比分析
对比维度TokenSpeedTensorRT-LLMvLLM
性能对标 TensorRT-LLM极高中等
易用性对标 vLLM低,配置复杂高
静态编译器支持自动生成通信代码不支持(需手动配置)-
调度器C++/Python 混合状态机多样化但复杂运行时管理
内核系统可插拔分层架构固定相对固定
核心场景Agent 工作负载通用高性能推理通用场景

TokenSpeed 与主流推理引擎特性对比

04适用场景
TokenSpeed 目前采用 MIT 开源协议,处于 Preview Release 阶段,主要适合拥有高端硬件(Blackwell/H100)的开发者和企业团队。

核心应用场景

高并发 AI Agent 系统

针对多轮对话、工具调用及推理链优化

  • 多 Agent 协作系统(如 AutoGen、MetaGPT 后端)
  • 需要大量工具调用的 Agent 应用
  • 长上下文推理任务(支持 262K tokens)
生产环境模型服务

兼顾性能与易用性的企业级部署

  • 企业级 LLM 服务部署
  • 从 vLLM 迁移到更高性能的后端
  • 无缝替换现有推理服务
Blackwell 架构优化

挖掘最新硬件极致性能

  • 运行 Kimi K2.5、DeepSeek V4 等最新大模型
  • 充分利用 B200 GPU 架构特性
  • 实现推理速度显著提升

评论

评论区空态插画

当前文章无评论,是时候发表评论了