微软CEO帮你算账：一个机架GB300冲到110万 Token/s

Satya 这条帖说的“one rack of GB300 GPUs”，在微软 Azure 的语境里就是一套 GB300 NVL72 机架：单机架 72 块 Blackwell Ultra GPU + 36 颗 Grace CPU，液冷、单一 NVLink 域。

怎么理解 1.1M tokens/sec：

这是整机架的总吞吐，不是单 GPU/单 VM。微软在一套 NVL72 上划分成 18 台 ND GB300 v6 虚拟机（每台 4 GPU），并行跑 Llama-2-70B 推理，总计 1,100,948 tokens/s；单节点约 6.1 万 tokens/s，折算到单 GPU 约 1.52 万 tokens/s。该结果由第三方 Signal65 现场观察，且相对上一代 ND GB200 v6 的 86.5 万 tokens/s 提升约 27%。

关于“一个机架里到底有多少 GB300 芯片”：

在 GB300 系列里最典型、也是 Azure 当前采用的就是 NVL72（72 GPU/机架）。NVIDIA 官方与多家整机厂（Supermicro/华硕等）给的规格页也都是这一配比。

小贴士（避免误解）

“GB300”通常指 Grace-Blackwell 平台；其中的 GPU 单芯片在很多数据表里写作 B300/Blackwell Ultra。所以你会看到“GB300 NVL72 集成 72×B300 GPU”的说法，这跟上面是一回事。

tokens/sec 与模型、精度、序列长度与并发强相关。微软这次选的是 Llama-2-70B 的 MLPerf Inference v5.1 配置（官方文中未强调精度，媒体转述多为 FP4），因此不同工作负载下的每 GPU 吞吐会有差异。

GPT5就假设按一台 NVL72给你一眼看懂的 ROI（基准假设在下方，可自行替换数值）：

结果先看

单位成本≈ $0.106 / 百万 tokens（≈ $106 / 十亿 tokens；约 ¥0.76 / 百万）

年产量≈ 24.3 万亿 tokens/年

年总成本≈ $2.57M/年（折旧+维护+电费）

回本（静态）：

售价 $0.20/百万 → 年毛利 ~$2.28M → 回本 ~2.6 年

售价 $0.50/百万 → 年毛利 ~$9.57M → 回本 ~0.63 年（约7.5个月）

售价 $1.00/百万 → 年毛利 ~$21.7M → 回本 ~0.28 年（约3.3个月）

基准假设（可改）

吞吐：1.1M tokens/s（整机架）

CAPEX：$6M；折旧 3 年；维护 8%/年

利用率：70%（全年平均）

机架 IT 负载：120 kW；PUE 1.2；电价 $0.10/kWh

年电费约 $0.088M（144 kW × 6132 h × $0.10）