一台迷你主机跑320B大模型:先看容量,再看带宽,最后等软件

源自143位全网作者

07:49

10月初,AMD自家的迷你主机"锐龙AI Halo"新款悄悄开启了预售:锐龙AI Max+ PRO 495芯片、192GB统一内存、6799美元,约合4.86万元人民币。9月底,B站UP主白大拿到495的首发评测,标题从"玩具"改口成"真AI生产力"。10月23日,ETAPRIME的上手视频干脆叫它"AMD迄今最强迷你电脑"。虞大胆的叽叽喳喳哔哩哔哩哔哩哔哩

3000亿参数的大模型,第一次进入了"一台巴掌大的主机就能装下"的时代。但先别急着下单,这台机器得拆开看。搞机思维

一台迷你主机跑320B大模型:先看容量,再看带宽,最后等软件

一、新款升级了什么?答案:几乎只有内存

把两代规格表放在一起:

  • GPU:还是40组RDNA 3.5计算单元,名字从Radeon 8060S换成8065S,规格没动;

  • 内存带宽:256GB/s → 273GB/s,涨了6.6%;

  • NPU:50 → 55 TOPS,涨了10%;

  • CPU:仍是16核32线程Zen 5家族,只是这代小核全换成了大核;

  • 内存:128GB → 192GB,唯一的硬升级,最多可把160GB划给GPU当显存。

官方的说法是,至高16个Zen 5 CPU核心、40个AMD RDNA 3.5 GPU计算单元、至高55 TOPS的NPU算力,统一内存至高192GB LPDDR5x。而圈子里对这代变化的判断很直接:本质是Refresh,属于小改款,核心并没有动,只有内存容量这一项算硬升级。翻译一下:新款没有换"芯",只是把仓库扩建了50%。AMD中国搞机思维

二、多出的64GB只干一件事:把"装不下"变成"装得下"

本地跑大模型的硬门槛是容量,模型权重加上下文装不进内存,一切免谈。AMD官方在495+192GB平台(划160GB显存)给出的数据是:GLM 5.3 Flash 320B经4bit量化后,生成速度最高约20 tokens/s;Qwen 3.8 Flash Next(125B主参数+51B嵌入)可达约42 tokens/s。搞机思维太平洋科技

注意测试条件:提示词都是"一个球从10米高落下需要多久"这种一句话物理题,长文档、工具调用、多个智能体连轴转时的真实速度,仍需在真实任务中验证。20 tokens/s大概是人眼刚好能跟上的阅读速度,不是爽快。太平洋科技

一台迷你主机跑320B大模型:先看容量,再看带宽,最后等软件

三、速度归带宽管,而带宽没动——所以只能等软件

为什么老款395也不算落伍?有人把395、英伟达DGX Spark、M4 Max Mac Studio、RTX 5090拉通实测Qwen3.8 27B,结论扎心:Halo和DGX Spark的token生成速度半斤八两,因为两款机型的统一内存带宽差不多,也都比较低,撞的是同一堵墙。新款带宽只涨6.6%,人体基本无感。虞大胆的叽叽喳喳

一台迷你主机跑320B大模型:先看容量,再看带宽,最后等软件

真正在改变体验的是软件侧。vLLM从0.32版本开始为Strix Halo做优化,10月26日曝出的PR #63199给它的GPU加了FP8专用计算内核,部分GEMM算子执行速度提升至原来的1.70~2.54倍,单个矩阵运算耗时从约553微秒砍到218微秒;但别激动太早,端到端实测只快了约6.8%,PR还是Draft状态,目前只覆盖DeepSeek V4的部分Decode投影。deephub

开源项目SnowLLM的评价更狠:现有推理框架大多是为别的GPU写的,直接搬到这颗芯片上,只发挥了大约一半的性能。翻译成人话:这块硬件应得的性能,软件还没榨出来。好消息是,往后每一次压榨,对老用户都是免费的。搞机思维

四、三种人,三种命

  • 手里已有395的:别急着换。你的GPU和带宽与新款几乎同级,换机只换来容量。只要不跑300B级模型,等vLLM和ROCm把性能榨出来,比换机划算。

  • 铁了心要跑320B、开多智能体的:192GB是硬门槛,这钱绕不过去。但未必非盯6799美元的官方开发者平台,极摩客EVO-X3等第三方机型已官宣要升级495处理器。等这些机型上市,价格大概率比官方平台接地气。另外官方机预装的不是Windows也不是Ubuntu,而是基于Debian的定制Linux发行版。ETAPRIME都是格机自装Windows 11 Pro再上手测评的,动手门槛不低。知乎虞大胆的叽叽喳喳哔哩哔哩

  • 买来打游戏办公的:这代跟你没关系。游戏看GPU,40组RDNA 3.5的定位没变,该看别家看别家。

最后一句话总结:本地AI这件事,容量决定能不能跑,带宽决定跑多快,软件决定能榨出几成。这台Halo新款只解决了第一件——后两件,等等党永远不亏。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章