家里那台你以为只配看视频的老游戏机,2026年11月可能是它最值钱的时刻:一个开源项目让它在12G显卡上跑出了千亿参数大模型,速度还吊打以前那套部署方案。知乎知乎
最近本地折腾圈绕不开的名字叫 Strata。最出圈的一手实测来自科技博主tombkeeper:RTX 3090跑Qwen3.8-Flash-Next的IQ3_S量化,短问答输出67 tok/s,同硬件下llama.cpp只有20 tok/s;项目作者自己用12G显存的RTX 5070跑IQ3_XXS,也能有65.6 tok/s。B站教程视频冲到27万播放,评论区排队报速;11月3日桌面版上线,Windows、macOS、Linux全有,选模型、调量化、实时性能监控都点鼠标就行。微博知乎

它不是魔法,是把模型拆开住。 Qwen3.8-Flash-Next有1250亿参数,但MoE架构下同一时刻只有部分专家在岗:热点专家留在显卡,路由专家放进内存,n-gram表放SSD靠系统页缓存提前预读;CPU和GPU分工算没命中的部分,计算和数据搬运同时进行。一句话:显卡只管"谁上班",内存才是"员工宿舍"。微博

但宣传里不会写的那句是:门槛从显存挪到了内存。评论区玩家形成的共识是48G—64G内存才算舒适区:16G的5070Ti加48G内存,IQ2XS量化开128K上下文,解码70—85 tok/s;12G的4080笔记本配64G内存,256K上下文跑到40 tok/s;还有DDR3老平台加128G内存带V100跑38 tok/s的,以及4090D加3090配128G内存跑到90 tok/s、直呼"堪比闭源"的。反过来,32G内存基本只能跑1.75bit级别的IQ1_M量化——"能跑"和"能用"是两回事,有玩家实测后直接卸载:内存不够就得拿SSD硬扛offload,速度和SSD寿命一起交学费。哔哩哔哩知乎

坑也没停过:长任务"思考死循环",有人怀疑是MTP投机解码带出来的,社区有人靠改单次请求串行绕开;量化版本 iq2xs、iq3_s、GSQ、swift1.5 一堆名词,选型像开盲盒;更新比模型下载还快,18小时发三个版本,刚发布的0.2.11靠两个CPU worker把速度从31 tok/s拉到62 tok/s;Windows比Linux更吃内存,有玩家报告换系统能省出约23G。至于和云端的质量差距,目前个人实测口径基本一致:短问答和写作接近闭源水平,数学推理略逊,长编程任务还得谨慎——证据到这里为止。哔哩哔哩哔哩哔哩哔哩哔哩

所以,64G内存加12G以上显存的游戏机:直接试,桌面版不用碰命令行;32G及以下:别急着追高换内存,先算升级费和云端订阅哪个划算;手里是DDR3、V100这类老平台的:有第二春资格,但动手扩内存前,先看看x99主板过热降速的翻车帖。
"跑得动"一直很便宜,"用得上"才有价签。Strata是真的,它只是把价签从显存挪到了内存上。