今年 9 月，SemiAnalysis 把同一个 Qwen3.5 397B 模型、同样的 FP8 精度、8K 输入 1K 输出，分别跑在谷歌 TPU v7、英伟达 B200 和 B300 上。在每秒 100 token 的单用户速度下，每百万 token 的成本是 0.181、0.222、0.276 美元。TPU 比 B200 便宜约 19%，比 B300 便宜约 34%。华尔街见闻
更抓眼球的是另一个数：在每秒 20 token 的慢速交互下，TPU 每美元产出的 token 比 B200 多 50.4%，比 B300 多 96%。 但这个 50% 用的是对外可比的租金口径；如果按谷歌内部的总拥有成本算，优势会扩大到 77% 和 130%。 后两个数，外部客户拿不到——把谷歌的账本当成你的采购价，是误读。知乎华尔街见闻
就算 19% 成立，它也只在一个很窄的条件下成立。测试只覆盖一个 397B 模型的推理；并发拉到 256 时，TPU 的首 token 延迟是 5.41 秒，B200 是 3.75 秒，B300 是 2.40 秒。 TPU 的便宜，有一部分是拿高并发下的延迟和单一负载换出来的。你的业务如果更在意首字响应，或者跑的是小模型、长上下文，这张表未必能直接套。知乎
更麻烦的是代际。B200 是 2024 年的产品。到 2026 年 11 月，英伟达的主力已经是 B300，Rubin NVL72 也挂出“Available Now”：单卡 288GB HBM4、19.2TB/s 带宽、NVFP4 推理 50 PFLOPS（稀疏）。 Ironwood 同样是上一代；2026 年 4 月发布的 TPU8t/8i 才是新一代，TPU8i 补上了原生 FP4。 拿 TPU v7 对 B200，是上一代打上一代——做基准可以，做今天的采购决定不够。TPU8i 对 Rubin 的公开第三方实测，目前还没有。知乎架构师技术联盟
还有一笔容易被忽略的账：TPU 不是一张能买回来插进服务器的卡。它是谷歌云的一整套系统——GKE、JAX/XLA、ICI 互联，连软件带机房一起租。TorchTPU 开源后，迁移只差一行 device_map=“tpu”，但“能跑”和“跑得好”还有距离：默认精度不同，集合通信不调优会损失 30% 到 40%，一颗 TPU 只能被一个进程访问。机器之心
这不是纸面风险。Midjourney 创始人 David Holz 说过，用 JAX 训练、PyTorch 推理，两套工具链来回切，产品迭代被拖慢了一年；如果能回到过去，他会从一开始就选纯英伟达。 反过来的例子是 Inferact：vLLM 原班人马用 16 颗 TPU v7 跑 Kimi K3，靠手写 megakernel 做到 709 token/s，比同规模 GB200 快 57%。 但这是为 Kimi K3 定制的内核，换架构要重写。省下来的钱，有一部分是工程团队赚的。知乎量子位
那英伟达的溢价买的是什么？是“什么都能跑”的通用性，是 CUDA 和整条工具链，是最新的 Rubin，是随时能换云、换模型、二手转卖的退路。B200 的千卡级长约价从每小时 2.63 美元涨到 5.10 美元。 交付周期已经排到 2027 年，现货价却在跌。同一个东西，两套价格，说明英伟达的溢价里不只有算力，还有稀缺性和选择权。知乎
TPU 的成本优势是真的，但它是一张有条件的折扣券：负载足够大、足够稳，延迟能接受，团队已在谷歌云和 PyTorch/JAX 里，且愿意签长约。四个条件都满足，20% 到 50% 的节省可以拿。少一个，英伟达的溢价就可能更便宜——不是因为它更快，而是因为它让你不必现在就把路走死。
对大多数买家，正确的动作不是“换掉英伟达”，而是把 TPU 的报价摆上桌，逼出一个第二供应商。Oracle 明年把 TPU 接进 OCI。 OpenAI 计划采购 TPU。 Meta 两边都押。 这些事的意义不是“英伟达明天就完”，而是“英伟达不能再按唯一选项定价”。知乎华尔街见闻机器之心
至于国内买家，TPU 多数时候连选项都不算。B300 的渠道价被炒到 1500 万到 2100 万元一台，TPU 在本地又买不到、租不到。 TPU 的真正用处，是给英伟达的报价提供一个参照系；换不换，得看你自己机房里那笔账能不能算平。知乎
