Qwen3.8-27B和Flash-Next开源之后,本地部署彻底火过一轮:有人把吃灰的PS5翻出来,从装PS5LM到让27B跑起来。有人用1400元出头捡来的X99垃圾机加P100计算卡,把Flash-Next跑出30-50 token/s。Mac用户则排队把Strata和Flash-Next装进了自家电脑。一句话总结:本地大模型这回是真能用。想把你那台电脑变成AI主机?先算清三笔账。知乎哔哩哔哩知乎知乎

第一笔:跑不跑得起?
最硬的门槛还是"存得下"。Qwen3.8-27B用狠一点的量化,8GB显存就能动起来。想跑得舒服得奔着16-24GB去,27B想正经落地得24GB起步。Flash-Next换了个活法:176B总参数、激活只有6B,不怎么吃显存、专吃内存带宽。所以AMD Max+395、Mac统一内存都跑得动。更狠的是双V100 16G的老服务器,平时干活能到80 token/s。哔哩哔哩小红书知乎知乎哔哩哔哩

但别被"能跑"骗了:老专业卡基本只配伺候语言模型。想跑MiniMax H3这类视频生成,是另一套装备——Mac本地部署一次,5秒视频能磨半小时。别指望旧卡兼职。哔哩哔哩
第二笔:快不够快?
轻装MoE模型的坑,全藏在prefill(预填充)上:垃圾机解码30-50 token/s看着挺美,prefill却只有一百出头。喂一篇长文档,首轮等待就能让你怀疑人生,跑Agent更是把长任务拖成长耐心。Max+395上Q4裸跑约25 token/s,卡脖子的同样不是解码,而是prefill。哔哩哔哩知乎

结论很直白:聊天、翻译、写文案,随便跑;天天喂十几万字长文、猛跑复杂Agent的,轻量卡和旧卡还是会疼。
第三笔:划不划算?
评论区的冷水够真实:一千多的投入回不了本,DeepSeek充100够用好久了。花大几万上硬件,效果还不如云端旗舰调一次。而且你从API省下的token费,最后要从别处花出去:电费、硬件折旧,还有反复修本地模型输出的时间成本。哔哩哔哩知乎知乎
反过来,三类人是真该装。①数据不能出电脑的:"除非业务有保密需求"几乎是所有实测者的共识。②token重度烧钱户:有同学收到邮件,学校账号一个月token快500美元,转头就在128GB显存的机器上把模型本地化了。③**"服务器繁忙"PTSD患者**:要的就是离线和无限制。哔哩哔哩小红书小红书小红书

如果你每天就问AI几次,云端API仍然是更划算的那个。
最后补一句:Qwen4听说月底就要发。想攒机的先别急着给下一代当测试机,动手前先问自己三个问题:有没有数据不能联网?token是不是已经花超了硬件钱?显存和内存到底塞不塞得下?想明白再动手,本地AI才不是玩具,是生产工具。知乎