巴掌大主机能跑2000亿参数大模型,AMD这款AI开发平台让英伟达和苹果都坐不住了
2000亿参数大模型能跑,硬件配置到底什么水平
性能实测方面,AMD官方给出的数据是在GLM 4.7上比DGX Spark快14%,在Qwen 3.5 122B上快12%,在GPT-OSS 120B上快7%。这些数字看着不错,但需要注意测试场景和模型量化条件。更关键的是,苹果Mac Studio凭借546GB/s的统一内存带宽,在token生成速度上仍然领先AMD约2-3倍。AMD这边256GB/s的带宽对上苹果确实显得寒碜,这是统一内存架构上的先天差距。不过AMD能跑的模型参数量更大——Mac Mini M4 Pro最高只支持100B参数模型,而锐龙AI Halo可以跑满200B,这个差距在实际使用中能否弥补带宽劣势,就看具体任务需求了。789
4000美元花在哪了:跟DGX Spark和Mac Mini怎么选
软件生态省不省心:开箱即用到底是真是假
值得注意的一个亮点是NPU终于派上用场了。过去NPU常常沦为摆设,实际推理全在CPU或GPU上跑。在锐龙AI Halo上,用AMD的Lemonade工具可以成功在XDNA 2 NPU上跑gpt-oss-20b模型,功耗仅35W,生成速度20 token/s。NPU的意义不在于极限性能,而在于能效比——让CPU和GPU腾出来干重活,传感器数据和轻量推理交给NPU处理,这是AI开发者新的优化维度。4
值不值这4000美元:哪些人买了不亏
当前文章无评论,是时候发表评论了