什么值得买App下载 App ›
连续签到专享现金活动

律师花6万用12张二手V100本地跑DeepSeek,和云服务比到底省不省钱?

Reddit 的 r/LocalLLaMA 板块里,一位自称律师的用户 u/TumbleweedNew6515 在 11 月 20 日晒出自己的私人 AI 集群:12 张二手英伟达 Tesla V100 SXM2 32GB 通过 NVLink 与 PCIe 拼成可协同推理的整机,本地跑 DeepSeek-V4.1-Flash,全套花了 9,450 美元、约合 6.3 万元人民币,单代码流速度 157—184 token/s,读取 128K 文件只要 28 秒,他自称还快过任何已公开的 4 台 DGX Spark 堆栈、价格只要 3 台 Spark 的一半。不过纯按 token 单价算,这 6.3 万元在云服务面前一分钱都没省——按 DeepSeek 官方 API 现价,这笔硬件钱大约相当于这位律师十几年的云端账单。他真正买到的,是云服务给不了的三样东西:卷宗不出门、永不被限流、单流速度拉满。IT之家人工智能与科学

律师花6万用12张二手V100本地跑DeepSeek,和云服务比到底省不省钱?

云那一页账很便宜:DeepSeek V4.1-Flash 官方接口在高峰时段(北京时间工作日 9—12 点、14—18 点)的定价是未命中缓存输入每百万 token 2 元、输出 8 元,闲时和缓存命中还能再砍。律师把一份 128K token 的完整案卷喂进去、生成 4K token 的审查意见,高峰跑一次不到 0.3 元;哪怕每天批 50 份文件、一年 250 个工作日,API 账单也就 4,000 元上下,6.3 万元硬件对应十几年的用量。对偶尔处理一两份不想联网的敏感文档的普通用户,每月 20 美元级别的云端订阅同样够用。知乎知乎

云的确定性最近也在缩水:11 月中旬起,DeepSeek 免费端不再支持超过 7 天无互动的旧会话接续聊天,单次输入压缩到约 4 万字,每日用量封顶,重度长上下文用户要么排队、要么掏钱接 API。这套限制主要落在免费端,但对“不能断、不能等”的专业用途,云端多了一层不可控。36氪

本地这一页的行情其实很薄。在这位律师之前,11 月上旬 Tom’s Hardware 已报道过一名律师的 8 卡方案:当事人淘的 8 张二手卡花了 3,200 美元,加上两块 4 卡转接板 1,600 美元。二手渠道里,一张 32GB 显存的 V100 普遍也就几千块钱。知乎知乎

律师花6万用12张二手V100本地跑DeepSeek,和云服务比到底省不省钱?

老卡能翻身,靠的是软件生态把新格式喂给了旧硬件:有 B 站博主用四张 V100 在 1Cat-vLLM 上跑 NVFP4 量化的新版模型,单路生成实测冲到 202 token/s;这批 2017 年发布的 Volta 架构计算卡,也就此被社区叫成了「穷人法拉利」。哔哩哔哩知乎

隐藏成本同样具体。8 卡方案参照美国当地电价测算,低负载每月电费大约 100 美元,长时间满载能涨到每月 400 美元上下。IT之家转述这位用户的说法,在单请求、单流场景下这台 12 卡机器快过 4 台 DGX Spark 组合,但噪音较大,不太适合普通办公环境。知乎微博

功耗和运维也得算进去:8 张 V100 加上双路老至强 CPU,满载功耗轻轻松松突破 2,500W 到 3,000W。更要紧的是,从单机跑通到稳定服务之间,还隔着一整层运维。知乎人工智能与科学

那律师图什么?图的是特权。美国民事诉讼庭前有很长的证据开示程序,把案卷直接发给第三方 AI 云端,有可能被判定为对外披露保密材料、触发主题放弃,丢掉律师—客户特权。社区里那句判断因此流传很广:不是他们选本地,是他们不敢上云。知乎知乎

国内没有开示制度,但《律师法》对泄露商业秘密或当事人隐私同样规定了停业三到六个月的处罚。不过这方案远谈不上人人适用:V100 属于上一代架构,有硬件自媒体提醒,这批老卡的驱动维护临近收尾。只是偶尔处理敏感文档的人,其实用一台大内存的 Mac Studio 这类设备就能覆盖需求。知乎哔哩哔哩知乎

把两本账并在一起,结论并不浪漫:这 6.3 万元相对云服务不是省钱,而是把一笔看不见的执业风险买断。适合抄作业的人只有一个画像——卷宗不能出门、天天批量过文件、手上真有两三千美元闲钱的专业用户;其余人,按 token 付费的云端依旧是更聪明的答案。

评论

评论区空态插画

当前文章无评论,是时候发表评论了