什么值得买App下载 App ›
连续签到专享现金活动

笔记本跑120B大模型?日本这外设让小内存电脑有救了

大语言模型参数越大能力越强,但想把70B甚至120B的模型塞进笔记本电脑,几乎是不可能完成的任务。内存不够,一切都免谈。可就在2026年7月29日,日本Nextorage公司发布了一款叫aiDAPTIV Station的外接硬件,号称能让32GB内存的笔记本跑起GPT-OSS-120B这种庞然大物。这到底是真的技术突破,还是又一个营销噱头?
先看看内存不够用到底卡在哪
跑大模型最核心的瓶颈就是KV Cache。简单说,模型生成回答时需要把之前所有的对话历史都记在内存里,上下文越长,消耗的内存就越大。一个120B参数的模型,光是把32K长度的上下文塞进去,就需要上百GB显存。普通笔记本电脑那点内存,根本不够看。
传统解法有两种:要么买显存超大的专业GPU工作站,价格动辄数万;要么压缩模型精度或缩短上下文,效果大打折扣。有没有第三条路?KV Cache卸载技术给出了另一种思路——把不活跃的缓存数据暂时搬到外部存储,需要时再调回来,用传输延迟换内存空间。
这个"小盒子"到底怎么工作的
aiDAPTIV Station本质上是一个外接存储设备,通过USB-C接口连接到电脑。它内置了高耐久性NAND存储介质,配合群联的aiDAPTIV技术实现动态资源调配。设备能在本机DRAM和外接存储之间自动搬运KV Cache数据,让32GB的物理内存"看起来"像有更多可用空间。1
技术原理并不新鲜,类似的方法早就用在GPU显存不足的场景。有团队甚至用SSD在MacBook上跑480B模型,边加载边推理。aiDAPTIV Station的差异在于软硬件一体的预构建方案——Nextorage不只卖硬件,还提供配套软件包,支持Windows和Ubuntu,开箱即用,省去了折腾配置的麻烦。
维度传统方案aiDAPTIV Station
内存扩展能力依赖物理内存/显存动态调用外部存储
使用门槛需专业配置预构建软件包
适用场景固定工作站移动便携

大模型本地运行方案对比

用起来会有什么问题
别高兴太早。KV Cache卸载不是什么魔法,它带来的代价是额外的传输延迟。数据在USB-C和外接存储之间来回搬运需要时间,模型推理速度大概率会比纯显存方案慢。如果你的场景是实时交互、低延迟响应,这个方案可能不太适合。2
另外,aiDAPTIV Station目前只规划在日本市场年内首发,具体售价还没公布。按照这类外设的定价逻辑,大概率不便宜。软件兼容性和实际性能表现,也得等正式上市后才有真实数据。
要不要等这个方案
如果你需要在移动场景跑大模型,又不想背着笨重的专业工作站,这确实是个值得关注的思路。但眼下更务实的做法是:先确认自己的实际需求——是追求模型规模,还是追求响应速度?想清楚这点,比追新技术更重要。
技术路线是对的,落地还需要时间。等正式产品出来、有了真实评测,再做购买决策也不迟。大模型的内存焦虑短期内不会消失,但至少现在有人开始认真解决它了。

评论

评论区空态插画

当前文章无评论,是时候发表评论了