国庆前后,同一件事在两个平台裂成了两幅画面。
知乎上,「很多人认为本地部署一个大模型,就实现token自由,就可以干活了,真的吗?」这个问题攒下超过百万浏览,高赞回答开篇四个字:赛博做梦。作者算完账,结论是本地部署省下的调用费,会从硬件这个口子原样花出去。知乎
B站那边完全反过来。10月7日一条《本地部署量化大肥鱼》的视频,UP主把DeepSeek部署到本地当「AI小肥鱼」养,一周多拿下21.7万播放、6200多赞。评论区最高赞的一句不是吐槽,是「本地部署小肥鱼后的我」。
最有意思的是,肥鱼视频下面点赞第一的评论(876赞)反而是盆冷水:「买设备的钱都够用3年了,3年之后AI公司自己会升级硬件」。哔哩哔哩
一边百万浏览泼冷水,一边20万人围观养鱼,连真香视频的热评都在算账。两边都没说谎——他们算的根本不是同一本账。
第一本账:钱账,回本线到底在哪
先把「设备」这个词的量级掰开。评论区里有个冷知识:想部署去年满血版的DeepSeek R1-671B,至少要24块5090;还有人算过满血版硬件要按百万计,跟帖立刻反驳「怎么可能才200万」。满血这条路,跟普通人永远没关系,普通人玩的是量化小模型这条道。哔哩哔哩
这条道的门票确实降了。16G显存是现在的甜点线:27B级模型「任务无损」量化后约11.8GB,正好躺进16G卡,还留出KV cache的余量。据站内商品数据,RTX 5060 Ti 16G已经落到2699元价位段。知乎那个问题下最有分量的反驳也来自这里——有答主晒出社区实践:2080 Ti 22G魔改版都能跑到70+ t/s,「别再抱残守旧了,大本地时代真来了」。知乎知乎

但门票只是这本账的首付。把本地部署的月成本算完整:
电费:推理时整机功耗按250W估,每天重度用4小时约1度电,按0.55元/度算约17元/月;B站有位评论者实测自己「部署完后出租屋一天多三四度电」——那是接近全天满载的用法。哔哩哔哩
合计:轻度到中度使用,每月约90~100元
再看账的另一头。知乎有答主给不用涉密代码的人算过:直接在线调用各家flash档位,一千块能用好几个月——折算下来重度用户每月也就两三百元。知乎
于是回本线就出来了:只有当你的月度token账单稳定超过100元、而且干的活是本地小模型接得住的,这张2699元的卡才有可能在3年里回本。反过来推也成立:肥鱼视频那条876赞的「买设备的钱够用3年」,对大多数轻度用户是对的——普通人一个月的真实API消耗,往往连50元都不到。
但有三类人不能套这个公式:
隐私刚需党,直接买。合同、客户资料、涉密代码、不想出网的私人材料,这些场景本地部署无可替代。买的不是token,是安全感,不用算性价比。
批量流水线党,值得搞但别上旗舰。大量改写、分类、抽取、翻译、embedding这类高频简单活,通宵排队跑,边际成本为零的优势才兑现得出来。任务越像流水线,本地越划算。
Agent重度党,别硬上。AI Coding、长文档分析、多步Agent恰好最吃长上下文和模型智商。有位自托管爱好者的总结很诚实:token自由是真的,能干活是假的。上下文被显存钉死、长链路干到第五步忘了第一步的约束、速度决定它只能干慢活。本地模型不是私人助理,更像「一个不知疲倦、但只有短期记忆的实习生」。知乎
第二本账:情绪账,这本没有单价
如果只有钱账,解释不了肥鱼视频那21.7万播放。看看评论区在聊什么:
「虽然qwen人设是大小姐,但只有qwen是人人养得起的」。哔哩哔哩
「我去,还有打工千金,算是古早萌点人设了」
「我也想本地部署一个」
还有人把本地模型接成QQ群友,测一句寒暄烧掉两千多token,玩得不亦乐乎。知乎
这拨人买的显然不是性价比,是「养」一个属于自己的AI的感觉:它住在你机器里,拔了网线也能聊;人设你定,回复风格你调;不会有任何风控和会员体系提醒你「本月用量已超标」。小红书一位记录本地部署过程的用户说得直白:断网也能用,聊多久都免费,所有对话都在自己电脑里。评论区甚至有人在认真讨论「deepseek是最好破甲的模型」——这话你自己掂量着听,但它确实是一部分人选择本地的真实理由。小红书

这本账没法折旧,但它是真实支出的一部分。知乎答主「二冰」用一台8G显存的笔记本硬跑官方推荐32G内存的视频生成环境,系统可用内存掉到1G出头,一条9镜头的短片串行跑了近两小时,显卡全程占满、电脑什么都干不了。他给这件事起了个名字,叫「赛博守夜」——token是自由了,人被绑在进度条前面。但他没退坑。情绪价值和掌控感,就是有人愿意为它守夜的东西。知乎
真正的坑在于:很多人买卡之前,以为自己在买第一本账;买完才发现,自己消费的其实是第二本账。为情绪花钱没问题,错位才有问题——预期错位才是「第二天就想出卡」的根源。
那你到底该不该本地?
给一条可执行的路径:
先当一个月的「计量用户」。照常买API用一个月,月底看真实账单和任务构成。月账单不到50元:你需要的是承认自己是轻度用户,不是一张显卡;稳定超100元、活以聊天改写分类为主:16G卡有得算;大头是Coding和长链路Agent:老老实实付云端旗舰的钱,配合错峰优惠。
情绪党按情绪预算。如果你就是想养鱼、玩人设、在群里塞个AI群友,把2699元门票直接划进娱乐预算,别用「省钱」自我说服。这笔钱能回本是惊喜,不回本也不亏。
不着急的,盯一个观察信号。肥鱼评论区有44赞的传闻:DeepSeek在做面向8G/12G消费级显卡的本地小模型,明年初可能有消息。传闻目前无官方证实,但万一属实,明年的门票会更便宜、能跑的模型会更聪明。现在非冲不可的理由,又少了一个。哔哩哔哩

回到开头那场吵架。百万浏览的冷水党和20万围观的养鱼党其实都对,因为他们回答的是两个不同的问题:冷水党回答的是「本地部署省不省钱」,养鱼党回答的是「本地部署爽不爽」。
本地部署从来不是省钱方案,而是花钱转移方案——把按次计费转移到硬件店和电表上,顺便把安全感、掌控感和养成的快乐,转移到自己的机器里。值不值,取决于你的月度token账单落在哪一档,也取决于账单之外,你到底想买什么。
你上个月烧了多少token?你是钱账党还是情绪账党?评论区聊聊。