唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

2025-07-30 10:51:01 2点赞 12收藏 11评论

快科技7月30日消息,AMD Zen5架构的锐龙AI Max+ 395,是第一个可以在本地运行700亿参数AI大模型的平台,当然需要搭配128GB统一内存,而现在,AMD奉上重磅升级,1280亿参数大模型都可以在本地运行了!

当然,能做到这一点的还是只有锐龙AI Max+ 395,还是必须搭配128GB统一内存,并分配96GB作为显存,而且必须在Vulkan llama.cpp环境下。

驱动方面需要搭配还在测试阶段的25.10 RC 24版本,下个月初将会变成正式版25.8.1。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

这使得锐龙AI Max+ 395成为第一个能在本地运行1090亿参数的Meta Llama 4 Sout大模型的平台,体积多达66GB,活跃参数最多170亿,并支持Vision、MCP。

这得益于该模型使用了混合专家(MoE)模式,每次只激活模型的一部分,从而保持性能可用,锐龙AI Max+ 395实测可以做到每秒15 Tokens。

同时,锐龙AI Max+ 395还可以跑68GB体积、1230亿参数的Mistral Large,至于18GB、300亿参数的Qwen3 A3B、17GB、270亿参数的Google Gemma,自然更是不在话下。

当然,锐龙AI Max+ 395还支持各种各样的模型尺寸、量化格式,包括GGUF。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

同样重要的是,锐龙AI Max+ 395升级支持了更大的上下文尺寸,从传统的4096 Tokens左右,一举来到了惊人的256000 Tokens,从而能够分析、汇总更大规模的文档等数据资料。

不过这里需要注意,得开启Flash Attention、Q8 KV Cache。

对于一般的非大规模模型,32000 Tokens的上下文就足够用了,锐龙AI Max+ 395则提供了新的可能,而以往如此超大规模的上下文,往往需要几万十几万的设备才能实现。

锐龙AI Max+ 395、128GB配置的迷你AI工作站,价格已经低至1.3万元左右,可以说性价比是相当高了。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

编辑:上方文Q

【本文结束】如需转载请务必注明出处:快科技

展开 收起
11评论

  • 精彩
  • 最新
  • 这玩意要能组群组,不得更厉害

    校验提示文案

    提交
    集群肯定可以 就是效率貌似不一定高 毕竟虽然有128g 但速度上不去

    校验提示文案

    提交
    通信带宽瓶颈吧

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 256k上下文,估计几秒才蹦一个字

    校验提示文案

    提交
  • 算力确实差不多了,就需要一个全新界面的aiOS来掀起桌面革命了

    校验提示文案

    提交
  • 啥时候16通道搞定 统一内存搞到64×16就差不多可以塞进去R1了。就是不知道速度咋样

    校验提示文案

    提交
  • 这个不行的

    校验提示文案

    提交
    哪儿不行

    校验提示文案

    提交
    收起所有回复
  • 鸡肋

    校验提示文案

    提交
  • 参数是大了。但是每秒能出几个token?

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
12
扫一下,分享更方便,购买更轻松