11月11日，知乎热榜上出现了一个被围观的问题：美国一位律师为了不把手头卷宗传给云端AI，用8张V100组装了一台功耗数千瓦的本地AI服务器。 围观者多半觉得离谱，问题本身却没那么可笑——律师卷宗、合同、病历这类敏感材料，怎么做到"不上云也能用AI"，是真实存在的需求。先说结论：8卡V100是用"洋垃圾价"买显存容量的特例，不是2026年本地部署的标准答案；真正可用的方案已经按"要装多大的模型"分成四档，多数人一张卡、甚至一台现成电脑就够，另外还有第四条路——完全不在本地跑大模型。知乎
本地部署的标尺不是卡数，是容量和带宽
本地推理的本质，是把整个模型装进显存或统一内存，而显卡够不够用，主要看一个指标：显存（VRAM）。 量化又把模型体积大幅压小：按部署者常用的口径，9B量化版约5-6GB，27B量化版约18GB，72B量化版接近40GB。所以多卡只是凑容量的手段，不是目的——只有单卡容量不够时，卡数才有意义。知乎
8卡V100的账：便宜是真的，代价也是真的
这套方案确实便宜。8张卡花了3200美元、两块4卡转接板1600美元，如今配齐同款约8500美元、折合不到6万元，换来256GB显存；同样的容量换成二手行情3万元出头一张的32GB RTX 5090D，V100方案只要约四分之一的钱。 更极端的捡漏玩法里，一张16g或者32g显存的二手V100，在闲鱼上也就几千来块钱。 洋垃圾散货堆出来的256GB看着很唬人。知乎知乎
但账单的另一面同样具体。2017年发布的Volta架构，它根本不支持这两年大模型最吃香的原生FP8精度和新一代硬件级量化加速。 老数据中心卡的隐性成本同样有名，折腾过P40的答主总结：最大的问题永远不是卡和机器，而是电费和…噪音。 这类卡不带散热器，搬进办公室得自补散热；8张卡加双路老至强，满载功耗轻松突破2500到3000瓦。跑短文本还凑合，可长上下文一顶、KV缓存压力上来，一整个案卷喂进去经常要等两分钟才蹦出来第一个字。 按当事人所在地电价测算，低负载每月电费约100美元，长时间满载能到400美元上下。多位回答者的结论一致：2026年不建议再抄这个作业。知乎知乎知乎
四档主流方案，按预算对号入座
第一档，零新购。手头电脑有32GB内存、或12GB以上显存的游戏显卡，晚上回家直接下载一个Ollama或者LM Studio这样的免费的本地运行工具，就能开跑。 拉一个14B到32B的量化开源模型，偶尔离线处理一两份不想联网的文档已经够用。第二档，单卡工作站：27B级量化模型按流传最广的配置指南，回答质量已接近GPT-4一代，是敏感文本工作"有意义的一档"。价格线上，入门整机八九千元即可；要流畅跑72B或多用户，配置指南给出的档位是RTX 5090 32G（约4万）或RTX PRO6000 96G（约10万）。 整机另需64GB以上内存和2TB NVMe撑住模型加载。知乎知乎
第三档，统一内存小机器，是过去一年增长最快的一档。DGX Spark用128GB统一内存把模型塞上桌面，但实际跑大模型解码的时候，内存带宽是瓶颈——273 GB/s。 实测27B输出只有约13 token每秒，而且这台机器只用于推理。容量不够可以组网，NVIDIA公布的工程测试显示，8台DGX Spark组成集群后，可以运行经过NVFP4量化的完整GLM 5.3（753B）模型检查点。 不过组织实测的博主提醒，目标是多人稳定使用或生产服务时，不能只看模型能否装进内存。知乎知乎
但一个人用，本地机器未必划算。按社区实测做的每亿token成本测算：设备按3年折旧，一个人每天2000万token的用法下，2 台 Spark 是 API 的 16 到 17 倍，Mac 是 18 到 19 倍。 4台Spark的优势则在并发和prefill，多人共享、设备不闲置，才是端侧最便宜的情况。他的选购建议因此很直接：要买就按数据不出本地、离线可用这些需求选，而不是按省钱选。知乎
苹果线同期变化明显，M5代芯片明显补上了token输出短板：128GB统一内存的Mac Studio实测跑103.94GB的量化模型，实际 Token 生成速度最高能到 102.9 tok/s。 但要跑满血版DeepSeek V4.1 Flash就得换大内存机型，有人算过这笔账：看了眼新出的M5 Ultra Mac Studio，512G内存17万3。 这位博主的结论是：除了数据不能出门，老老实实用API。入门位的选择则是另一个经典问题：预算 3500 美元，到底买哪台？ 这场横评的最终推荐，落在一台64GB内存的Mac mini M5 Pro外接大硬盘。小红书小红书小红书
11月11日当天还有增量信息：苹果被曝正测试名为Harbor的应用，用一句话概括就是把你的 Mac 变成一台私有的 AI 推理服务器。 更受关注的是几台Mac能用雷雳5线连起来合并内存，底层是macOS 26.2新增的雷雳5 RDMA能力；目前仍是早期测试、未公布发布时间，不想等的可以先用开源exo自己组集群。同档横评的另一端，AMD Ryzen AI Halo（192GB统一内存、官方6799美元）：AMD Ryzen AI Halo 可能是上述四种方案中最差的选择。 GPU架构老，生态也跟不上。小红书知乎
第四档，企业私有算力池。单机8卡A100满血部署仍是团队常见选择，做过DeepSeek V4 Flash整机部署的工程师记录了自己的方案：对于单节点 8 卡 A100，这也是最自然的部署方式。 真正费时间的是新模型的kernel兼容，而不是显存够不够。国产卡这边也过了门槛：天数智芯天垓300在第三方实测的PD分离部署下，单卡端到端吞吐达到H200的1.05倍，成为国内首个实测性能达到 H200 水平的通用 GPU。 产品覆盖从加速卡、8卡服务器到超节点，适合要求多人在线、又要算力私有可审计的机构。知乎知乎
第四条路：不出境的可以是脱敏环节，不是推理环节
还有一个普通人容易漏掉的解法：在本地架一层LLM API代理，用规则引擎 + 可选本地 PII 模型的组合，而不是必须运行一个大语言模型。 代理先把人名、地址、机构名这类实体从文本里替换掉，再把处理后的内容交给云端模型；模型没装好或识别超时，就退回规则识别。这条路线把本地硬件成本压到几乎为零，代价是业务内容本身仍会外传——保密级别再高一档，还是得回到本地推理。知乎
法律边界也值得放进账本。美国民事诉讼有证据开示程序，把案卷直接发给第三方云端AI，有可能会被判定为对外披露保密材料，导致丧失律师客户特权。 也就是触发"主题放弃"，各地法院判例目前还不统一。国内没有对应规则，但《律师法》第四十八条写明，泄露商业秘密或者个人隐私、情节严重的，可被给予停止执业三个月以上六个月以下的处罚。回答区还点破了一层现实：公有云厂商无论是否承诺不拿用户数据训练，必然会在后台做个安全审计去扫描你的文本。 内容合规审查是必经环节——对保密要求极高的工作，这就是"数据必须留在自己机器上"的硬理由。知乎知乎
最后各算两笔账
选型的顺序其实只有两个问题。第一，需要多大的模型：27B级量化已覆盖大部分合同审查、文书写作，坚持要满血MoE才需要走到多卡、组网。第二，"不出门"是不是合规硬约束：是，就接受本地推理的运维和备份成本，同时记住一条从业者提醒的边界——做数据治理的从业者写得清楚：“确保不外泄”不是部署位置能兑现的承诺。 权重在本地，向量化、检索库、插件调用、遥测回传仍可能组成混合链路，部署位置只解决了一半。花6万元抄律师的8卡V100作业，买回来的是电费、噪音和故障率；同样的预算在2026年，够买一张安静的32GB旗舰卡，或一台现在够用、将来还能组网的统一内存小机器——后两类方案真正买到的也不是省钱，是按自己的数据边界使用AI的权利。知乎
