"12GB显卡就能跑31B新模型"的教程刚发就冲上热门，评论区的冷水来得更快，直接甩出一个扎心分数：7 token/秒。小马、大车，能拉，就只是能拉而已。API账单爆炸想转本地的人越来越多，但本地推理的水，真不是"显存够不够"一个参数能概括的。买卡前，先把三道坎过一遍。哔哩哔哩
第一道坎：装得下，是最基础的骗术
模型权重塞进显存只是开始，KV缓存和长上下文是吞显存黑洞——同一个模型，256K上下文和8K上下文的占用完全是两回事。溢出之后有多惨，实测和评论给出了同一个答案。“装得下"和"溢出后还能用"之间，隔着一道悬崖。Ollama选模型指南的通用经验是"4B Q8 其实不如 9B Q4”。与其抠着量化精度喂小模型，不如留足余量上大一号的。哔哩哔哩哔哩哔哩哔哩哔哩
第二道坎：带宽决定你等多久
最新的5090 vs DGX Spark同机实测结论给得很直接：模型放得进32GB显存，5090快3.6~5.6倍；换成65GB的120B模型，生成速度打平，读长提示时Spark还快4倍。大内存解决"装得下"，带宽解决"跑得快"，这是两笔账。评论区一句话点破本质：算力再强，模型一旦超出显存，快的那张卡也会被内存按住。哔哩哔哩
第三道坎：软件生态，纸面参数兑现几成
1299美元的Intel Arc Pro B70是本月最大黑马：32G ECC显存，每GB只要41美元，而同容量的5090要200美元以上。跑27B模型约52 tok/s，纸面真香。但同一实测也把短板写得明白：215k提示词首字在Vulkan下要等1.9小时，SYCL调优后也要8.6分钟，llama.cpp到11月初还在修这张卡的bug。每GB显存成本的账只算了一半，另一半是调优软件栈耗掉的时间。 顺带提醒：那台高喊"统一内存才是未来"的迷你主机推广视频，收藏冲到154、评论只有2条。软广的味道，闻一闻再下单。哔哩哔哩哔哩哔哩
到底值不值，回到钱
先看标价：一台RTX 5090整机含税8,833美元，一台DGX Spark官方价已到6,950美元。64G版DGX已被官方悄然定价4999美元。显卡行情一周内还能再涨58%。本地推理的性价比窗口正在关闭。小红书哔哩哔哩哔哩哔哩
电费反而不是大头：实测两台机器跑120B，每个token的电费几乎打平，Spark只要四成。判断标准其实就一条：拿你的月API账单对比机器折旧+电费，算不清回本点的，先用云端吧。哔哩哔哩
"能跑"两个字，纸面差一个数量级，现实就是一个坑。先看装不装得下，再看你拿它干什么——长文档、Agent重度用户，带宽优先级高于一切。
