4.6万的迷你主机跑起3200亿大模型:AMD新机谁该上车

源自149位全网作者

09:16

4.6万的迷你主机跑起3200亿大模型:AMD新机谁该上车

4.6万块能买什么?现在的行情,可能连一块5090都收不下。但10月,这笔钱能买到一个书本大小的金属盒子,离线跑起3200亿参数的大模型。

这不是PPT。10月上半月,AMD新平台迷你主机扎堆开卖:9日,极摩客在深圳发布EVO-X5 Pro,46999元;15日,TOPC TXA2-495跟上,2TB版45999元;Framework Desktop月初开预售,磐镭、超聚变也先后进场。这些机器塞的是同一颗芯片——锐龙AI Max+ PRO 495。Genima奇点数码

4.6万的迷你主机跑起3200亿大模型:AMD新机谁该上车

跑大模型,先看的不是算力是"装得下"

这颗芯片最大的卖点是192GB统一内存,最高能划160GB给GPU当显存。对比上一代395:内存上限128GB,显存96GB。太平洋科技奇点数码搞机思维

4.6万的迷你主机跑起3200亿大模型:AMD新机谁该上车

为什么多的这64GB关键?本地跑大模型的硬门槛,是模型权重和上下文得整个装进内存——装不下就是跑不了,算力再强也白搭。有知乎博主实测:DeepSeek-V4-Flash在395上因为权重太大根本启动不了,换到495上能跑了,每秒生成约14个token。AMD官方数据更猛:GLM 5.3 Flash 320B在4-bit量化下能到20 tokens/s。放在两年前,这是服务器机柜干的活。Genima太平洋科技搞机思维

但别急着上头,三盆冷水

第一,这代本质是马甲。 CPU还是Zen5的16核32线程,GPU还是40个计算单元的RDNA 3.5,加速频率从5.1GHz提到5.2GHz。真正的硬升级只有内存一项。搞机思维奇点数码

4.6万的迷你主机跑起3200亿大模型:AMD新机谁该上车

第二,带宽是软肋。 273GB/s的内存带宽,只有Mac Studio M5 Max(614GB/s)的一半不到。所以14-20 tokens/s的速度属于"能用但不快",长上下文的首字等待要有耐心。更麻烦的是,开源项目SnowLLM指出,现有推理框架大多是为别家GPU写的,直接搬过来只能发挥这颗芯片约一半的性能——软件生态还在补课。搞机思维Genima

第三,4.6万真不便宜。 同样的钱,DIY党能装一台小型水冷机。当然,5090单卡32GB显存装不下大参数模型;想省钱,之前聊过两张V100六千出头的路线,但那要自己动手折腾。成品机贵出来的部分,买的是"开机就能用":极摩客预装了本地推理引擎,模型下载、显存分配全靠鼠标点,不用配环境。Genima

谁该买,谁别碰

两类人值得上。一是需要本地跑模型、数据不能出内网的企业和小团队:这颗芯片带PRO商用认证,加密芯片、带外管理都齐了。省下的不只是硬件钱,还有部署人力和合规成本。微软已把"64GB以上统一内存、能本地跑30B以上模型"列为开发者设备的基础线。二是有预算、没时间折腾的AI重度用户,开箱即用对他们是决定性体验。Genima太平洋科技

4.6万的迷你主机跑起3200亿大模型:AMD新机谁该上车

两类人别碰。纯游戏玩家——AMD自己都承认这代跟游戏没关系,打游戏老实买独显;等双11捡便宜的普通用户——内存涨价周期里,非刚需先捂紧钱包,连三四千的办公向迷你主机都在被内存价格顶着走。海滨稻香

192GB迷你主机的真正意义,不是跑得多快,而是"跑大模型"这件事从机房搬上了书桌。至于值不值,取决于账单是不是落在你头上。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章