11月11日，知乎一个热榜问题把一台"硬核设备"推到台前：某律师为不把敏感资料上传云端，用 8 张 V100 攒了一台完全本地运行的 AI 服务器，整机约 256GB HBM2 显存，可以在本地跑经过压缩的大模型。问题在讨论"值不值"，但更要先回答的是：这张 2017 年架构的计算卡，实际能跑哪些法律场景的模型？知乎
先给结论：法律专用开源模型几乎全部跑得动，而且根本用不满八卡；这台机器真正的用武之地是量化后的 27B 级通用基座加法律 RAG 工具链；跑不动的则是云端闭源法律产品和对兼容性最敏感的前沿大 MoE。
法律专用模型：一张卡就够，八卡是给微调留余量的
现在国内能拿到手的开源法律专用模型，参数量集中在 1.7B 到 8B 这一段：清华在今年 1 月的 2026 中国司法人工智能大会上发布的 LegalOne-R1，推出 17 亿、40 亿、80 亿参数三个版本，并向社会开源。南京大学的 LaWGPT-7B 提供了开源权重与推理代码，官方推荐的部署门槛只是 16GB 及以上显存的显卡。DISC-LawLLM 的用途覆盖法律专业人员助手、法律咨询和法律考试场景。北大团队的 ChatLaw 则把检索做成主打：它的向量嵌入模型在 936,727 条全国真实案例库上精调，专门支撑类案检索这类 RAG 应用。按这个口径，32GB 版 V100 单卡以 FP16 装一个 7B—8B 模型只需十几 GB 权重，剩余显存足够开长上下文。知乎知乎知乎
八卡对这类小模型的意义不是"能不能跑"，而是同时给几个人用、以及拿所内案卷做微调的余量——有人实测过这条线：在 24GB 显存卡上 LoRA 微调 7B 法律模型，batch 开到 4 已用去 20GB，开到 8 直接爆显存。256GB 叠加确实能撑起这种余量，前提是训练框架能在 Volta 上装得起来。知乎
法律场景的主力负载，其实是 27B 级通用基座
律师日常最耗算力的环节——读几十页卷宗、合同条款比对、文书初稿——主流解法是"通用基座 + 法律库 + 长上下文"，而不是专用小模型。这类机器真正要塞进去的，是量化后的 27B—32B 稠密模型，这恰是 V100 实测记录最密集的一档。同样一块 V100 32G 跑同一个 27B 模型，vLLM + AWQ-INT4 纯解码只有约 3.5 tok/s，换成 llama.cpp + GGUF 后同一张卡能跑到 64 tok/s。另一台双 V100S 32GB 的服务器上，Qwen3.8-27B 的 BF16 权重约 50GB 单卡装不下，双卡拆分后只有约 7 tok/s，改走 Q6_K 量化包反而提速 74%。长文本方向甚至有人把 262K token 上下文压进了单张 V100，IQ3 量化的 Qwen3.8-Flash-Next 解码中位 72.4 tok/s，单次最大处理过 22 万 token 的提示——这篇实测记录作者声明正文由本地 AI 生成、速度数字经人工核验，引用时宜打一分折扣。知乎知乎知乎
真正跑不动的：前沿大 MoE 与云端闭源法律产品
先看新硬件的主力形态。有人把同一个 30B MoE 多模态模型在 A100、910B、V100 三种硬件上各跑了一轮：V100 单实例推理速度比 A100 慢 5.3 倍，40 张 V100 的总吞吐仍不如 16 张 A100。差距不只来自算力本身，而是软件生态对 Volta 的持续"清盘"：FlashAttention 明确只支持 Ampere 及以后的卡，MoE 的融合内核在 V100 上编译失败，只能退回逐 expert 循环的纯 PyTorch 实现，再慢 3 到 4 倍。至于常被推荐的 FP8 省显存路线，在这张卡上同样走不通——V100（SM 7.0）没有 FP8 tensor core，FP8 需要 H100 起步，下载了 FP8 权重也会被悄悄反量化回全精度格式，显存占用不减反稳。知乎知乎
而 CUDA 13 直接删了 Volta 支持，vLLM 等新引擎对它的支持越来越差，靠 Strata-V100 这类社区 fork 才保住编译和运行时。换句话说，8×256GB 的理论显存装得下量化后 300GB 以下的模型，但新架构 MoE 的推理路径在这张卡上基本是残废的。知乎
另一类"跑不了"和法律场景关系更直接：商业法律大模型根本没有私有化形态。智谱今年 10 月发布的 GLM-Legal 在 Vals AI 法律测评中以 19.2% 任务全通过率和 86.23% 准确率拿下 Harvey LAB 与 LegalBench 开放权重双榜榜首，但它当前是邀请制 Beta，能力长在云端 API 里。通义法睿、智合这类产品同理，买了设备也调不到——这正是那位律师想避开的使用方式。知乎
账怎么算：便宜在显存单价，贵在后半程
V100 唯一的竞争力是价格。二手市场上，16G 或 32G 显存的拆机 V100 每张只要几千块。有用户按整机粗算：二手 V100 八卡 NVLink 服务器裸机 5 万，加上 CPU、内存、硬盘共约 6 万，凑出 256GB 显存。作为参照，商用私有化部署按 8 卡 GPU 服务器报价，整机约 80 到 120 万一台，主流配置反而只要 4—8 张 A100（80G）就够。知乎知乎知乎
但便宜有两笔利息。第一笔是电：有在软件公司做 AI 产品的回答者估算，8 张 V100 加双路老至强 CPU 满载功耗可轻松突破 2500W 到 3000W，"数千瓦"并非夸张。第二笔是运维：这些在数据中心 24 小时跑了八九年的拆机卡随时可能掉驱动、掉卡，而配套软件栈还得永远钉在旧版 CUDA 和旧框架上。知乎
值不值的分界线：合规买的是边界，不是正确性
那位律师坚持断网的动机有真实的合规背景：公有云服务商对传输内容要做安全审计扫描，只要数据出了自己的网线就绕不开这一步。而美国 2026 年判决的 United States v. Heppner 案，首次较为集中地讨论了用户与公共生成式 AI 平台的交流能否受到律师—客户特权和工作成果原则保护。但本地化只解决数据边界，不解决输出质量：一位中小所授薪律师实测，类案检索从"官方宣传从两小时缩到十分钟"变成"我实测半小时"，因为必须逐条核实 AI 给的案例真伪；起草答辩状初稿还引用过一条已失效的司法解释，从此她给每条 AI 文书立了规矩：法条必须人工核对原文。知乎知乎知乎
回到标题的问题，这台八卡 V100 实际能跑的法律场景模型可以收拢成三类：1.7B—8B 的法律专用开源模型（LegalOne-R1、LaWGPT-7B、DISC-LawLLM-7B、ChatLaw 系）负责法条问答与检索嵌入；量化后的 27B—32B 通用基座（Qwen3.8-27B、Qwen3.8-Flash-Next 这类）负责读卷宗和文书初稿的重活；再配一层本地 RAG 工具链把两者接进所内资料。跑不动的是闭源云端法律产品和新一代大 MoE。"值得吗"的答案因此不在 256GB 显存上，而在两个条件里：有没有人接得住旧驱动和拆机卡的运维，以及所里的敏感案源量是否真的多到必须让数据一步不出内网。
