12GB显存跑1250亿参数大模型:游戏台式机意外迎来第二春

源自191位全网作者

08:02

你那台只拿来打游戏的台式机,可能已经被严重低估了。

10月以来,一个叫 Strata 的开源项目在 GitHub 上杀疯了:10月8日还是1.7万星,9天后冲到2.6万。它干的事一句话能说完——把1250亿参数的大模型,塞进一台显存只有12GB的普通游戏主机。知乎知乎微博

12GB显存跑1250亿参数大模型:游戏台式机意外迎来第二春

每秒94个字,比你翻书还快

以前想在本地跑千亿级模型,答案是 A100、H100 这种数据中心卡,跟普通人没关系。Strata 官方实测用的是 RTX 5070(12GB显存)+ 锐龙5 7600:跑千问 Qwen3.8-Flash-Next 的 125B 版本,2bit 量化下每秒输出94个 token,差不多是人阅读速度的十倍。屏幕上的字跟瀑布一样滚,你只能看着它刷。知乎微博

更有意思的是一位手握4张 RTX 3090 的玩家实测:按老办法用 llama.cpp 四卡分层,每秒只有可怜的6.5个 token;换成 Strata 只开一张卡,直接飙到107。堆卡的信仰塌了——这活儿,一张卡比四张快。微博

原理一句话就能懂

这个 125B 模型是 MoE 架构,身体里住着一大群「专家」,每次提问只有几位出工。Strata 干的就是分层调度:最忙的专家放显存,偶尔被喊的放内存,基本不出工的扔进 SSD。显存、内存、硬盘三个原本各干各的件,被拧成了一块「统一内存」。微博知乎

说白了,不是你的显卡突然变强了,而是整台机器第一次全员上岗。这有实时监控为证:模型跑起来时,三千多个「专家」驻留缓存,显存占着10.4GB,内存吃着47.7GB,SSD 还在以 9MB/s 的速度补数据。

12GB显存跑1250亿参数大模型:游戏台式机意外迎来第二春

对装机党,这事改变了三件事

第一,先查查你的老机器够不够格。 官方支持列表覆盖了 NVIDIA RTX 20/30/40/50 全系,显存最低要求就是 12GB。AMD 这边 RX 6800 及更新的型号也在列。有玩家用 8GB 显存也跑出了每秒30个 token,就是喂长文本时预填充慢得让人挠头。右键任务管理器看一眼 GPU 显存,12GB 以上,恭喜入围。GitHub知乎微博

第二,瓶颈悄悄挪到了内存和 SSD。 显卡门槛其实不算高,真正苛刻的是内存。官方文档给的门槛是内存加显存合计至少32GB。想跑全尺寸模型,得上64GB 内存,连官方监控截图里那台机器都是64GB 内存的配置。这意味着装机思路得改一改:内存不再是「打游戏16GB够用」的配角,SSD 也不只是游戏加载盘,它们都是 AI 工位的一部分。知乎GitHub

12GB显存跑1250亿参数大模型:游戏台式机意外迎来第二春

第三,门槛还在往下掉。 10月20日发布的 0.2.0 测试版直接给了图形界面和中文界面,Windows、macOS、Linux 都能装。双击安装、点几下鼠标就能跑,小白第一次不用碰命令行。微博

激动之前,先泼三盆冷水

一是 2bit 量化是狠招,日常问答、改代码体感不错,但复杂推理和长链路任务会掉链子。别指望它替你顶掉旗舰 API。二是首次启动要把几十 GB 的权重搬进内存,机器会实打实卡上一两分钟。三是项目还在 v0.x 阶段,几天一个版本,今天能跑的配置明天可能就报错,折腾前做好心理建设。知乎微博GitHub

显卡在涨价,内存在涨价,这条新闻倒像个狡黠的插曲:你当年冲动买下的游戏台式机,可能正在悄悄变成全家最值钱的机器。

12GB显存跑1250亿参数大模型:游戏台式机意外迎来第二春

今晚不打游戏的时候,不妨给它派个新活儿。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章