实测RTX Spark智能体性能:每秒最高75个词,长任务仍要换到云端

源自66位全网作者

10-23 14:40

以英伟达RTX Spark超级芯片为核心的首批笔记本电脑10月16日全面开售,评测于前一天解禁。围绕“智能体性能实测”,最受关注的量化结果来自10月22日发布的华硕ProArt 创16(128GB统一内存)完整评测:Qwen3.8-27B的4-bit量化模型挂上256K上下文,默认解码速度只有12.5到15.4 t/s。这组数字基本回答了热榜的核心问题:本地智能体确实能干活,但决定速度的上限不是128GB的内存容量,而是300GB/s的内存带宽。微博知乎

带宽决定了模型每秒“翻阅”多少数据,因此哪怕27B这种小规模模型,实用部署也要以4-bit量化为基准——55.6GB的BF16权重,300GB/s的带宽根本喂不动。大内存真正的价值在别处:启用DFlash2投机解码后,中长上下文生成速度直接拉到63.8到75.1 t/s,实测草稿命中率92.5%。这套打法要多占3GB显存,24GB显存的RTX 5090笔记本装完权重就没了空间,而128GB统一内存不仅容得下,还能把256K上下文的KV Cache按全精度放。换成日常真实文本,速度稳定在36到45 t/s,体感约为原生的3倍。知乎

另一条路线是换模型架构。参数达1250亿的Qwen3.8-Flash-Next采用稀疏MoE设计,每次只激活约6B参数,加载原生MTP后速度提升到50 t/s以上,GPU功耗还不到30W,明显低于27B模型的50W水平。知乎

单轮吐字之外,多轮真实任务才是智能体的主战场。芯东西在同平台的AA-AgentPerf Local智能体基准中测得:27B模型跑完全程耗时25分09秒、吐词23 tokens/s,与上一代桌面级设备DGX Spark表现相近。另一项覆盖代码修复、K8s排障与长文档检索的168轮对话实测则给出了选型口径:MoE模型吐字快、省电,稠密的27B配投机解码后,在长文档场景的首字延迟和检索稳定性反而更好。知乎知乎

但“跑得动”不等于“随便跑”。评测团队把本地服务只配了64K上下文,让本地27B做跨文档审校的长任务,第一轮运行约42分钟后反复压缩上下文、被框架直接中止,最后只能改用1M上下文的云端模型完成核对,而文件和工具执行仍留在这台电脑上。这也是英伟达力推混合部署的原因:官方开源了Switchyard路由库,智能体默认先问本地模型,本地处理不了的才升级给云端。知乎

智能体之外,这台电脑还有一半身份是Windows on ARM笔记本,兼容性是绕不开的门槛。微软Prism转译器处理常规整数、浮点指令已经比较成熟,损耗约15%,但重度依赖AVX等向量指令的任务会断崖式掉速。游戏侧感知更直接:x64转译版《漫威争锋》平均仅56帧,换成ARM64EC版本后平均提升到80帧,瓶颈从CPU转回GPU。图形性能上,它的3DMark光栅化成绩基本与桌面RTX 5060持平,玩主流游戏有DLSS、Reflex等全套RTX技术兜底。需要注意的是,官方标称最长28小时的续航只属于轻办公,实测不插电高负载跑AI任务时,电量从90%掉到10%只用了1小时22分——干重活仍然离不开电源。知乎哔哩哔哩知乎

价格是最后一道门槛:128GB版本京东自营35999元起,首发销量最高的创16当天即售罄转预订。官方口径下,RTX Spark相比上一代本地AI模型性能提升4.6倍、微调提升2.7倍,英伟达把它称作“个人Token工厂”——高频本地推理消耗的云API费用,理论上能在几个月内摊掉硬件成本。但这笔账只对特定人群成立:天天要跑大模型、长上下文,又离不开Windows软件生态的开发者与创作者,买的是“本地能干活”这件事本身;主要图游戏帧率,或偶尔调用云端API的用户,传统独显本加纯云方案要便宜得多。知乎知乎

回到热榜的问题,实测给出的答案是有条件的肯定:RTX Spark的智能体性能已经跨过“可用”门槛,前提是选对量化与投机解码、管好上下文长度、并接受长任务交给云端补位。128GB内存决定它“能干什么”,300GB/s带宽决定它“跑多快”——这才是这台“智能体PC”真实性能的两端。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章