当前位置:
AIGC文章详情

零刻SEi AI到底能干什么活儿?翻完两条测评视频的评论区:3种活儿已有人跑顺,4类人还是别买

源自445位全网作者

03:42

零刻SEi AI开卖快一个月,讨论的风向已经变了。发布那几天,大家争的是"11895元起贵不贵",零刻对这台机器的定位也很直白,号称"为本地AI推理而生",售价11895元起。微博两个配置也清楚:SEi13AI是i7-13620H+24GB内存NPU+32G+1T,卖11985元;SEi14AI换U9-185H,卖13988元。微博

零刻SEi AI到底能干什么活儿?翻完两条测评视频的评论区:3种活儿已有人跑顺,4类人还是别买

现在再打开B站讨论度最高的两条测评视频(小天fotos的SEi13AI实测、爱折腾的老高的SEi14实测),评论区已经很少吵参数了,问题全部收敛到同一件事:我到底拿它干什么活儿?我把两个评论区翻了一遍,答案其实已经写在里面了:有3种活儿已经有人跑顺,也有4类人还是别买。

先说结论:它不是"本地大模型主机",是"推理卸载机+低功耗常驻小服务器"

判断这台机器,别先看token/s,先看三件事:占不占主力机的显存和内存、能不能24小时开机、功耗多少。老高视频评论区有人把账算得很直白:“售价:约1.2万,其中一半的价格是这个m2的npu”。bilibili评论把它当"本地大模型主机"看,等于花一半的价钱买一张153.6GB/s带宽的卡,当然觉得贵;把它当"轻推理的安放处"看,账才开始成立。

已经有人跑顺的3种活儿

第一种:把ASR、TTS这类轻推理从主力GPU机上卸载下来。小天本人在评论区说了自己的用法:主力机的显存留给大模型,ASR这类任务挪到SEi AI上,“如果是低功耗,长期稳定做单一数据处理的场景就很合适”。bilibili评论这类任务的痛点不是算力不够,而是缺一个"不抢显存也能跑"的地方——这颗NPU卡自带专用推理内存,和主机内存物理隔离,板载24GBLPDDR5专用推理内存,带宽高达153.6GB/s。微博卡的来历也被评论区挖了出来:后摩智能的"后摩漫界M50",存算一体,单芯片最大48GB内存。

零刻SEi AI到底能干什么活儿?翻完两条测评视频的评论区:3种活儿已有人跑顺,4类人还是别买

第二种:24小时常驻的低功耗agent或单一任务流水线。评论区给它的定位很准:“这种更适合24小时挂机,省电,维护成本不高”。bilibili评论那种"不急出结果、但绝不能断"的活儿——批处理数据、本地RPA、常驻小agent——正是这类低功耗推理卡的主场。高赞评论把它定义为"低功耗边缘计算的推理小卡":算力极其有限是前提,功耗极低是优点,买之前想清楚需求就行。

第三种:9B级Q8轻量模型栈+结构化任务。这一条是评论区老玩家的推演,不是官方实测结论,但值得参考:“我发现,只要skill里面的api接口的说明明确,其实9B这样的模型就够了”。bilibili评论思路是:24GB专用内存装下9B级Q8轻量模型加embedding、rerank这些部件,让NPU卡去吃工具链里"低算力但高频调用"的部分。想接这类活,建议先拿自己的任务试跑再下结论。

这4类人,还是别买

第一类:追速度的coding agent党。小天在评论区直接点了名:“跑coding agent对速度有无止境的追求,这个场景确实不适合”。bilibili评论agent循环、长上下文、prefill,每一样都是带宽和算力的大户,这张卡的天花板不是为它设计的。

第二类:想跑dense大模型的。153.6GB/s的带宽是物理上限,评论区已经把结果算了出来:“现在的主流模型是27B稠密,用Q4量化的话在这机器上速度最多就是6t/s,约等于没用”。bilibili评论MoE轻模型值得继续观察,但dense大模型,基本可以从清单里划掉。

第三类:只想要大模型能力、没有"数据不出本机"要求的。评论区高赞说得很直白:“如果纯粹是需要大模型的能力,你还是直接用在线的吧”。bilibili评论API更便宜、更快、模型还更新,除非有严格的数据落地要求,否则这笔钱不必花。

第四类:想当通用PC买的。一半的钱花在那张NPU卡上,不做推理,这笔账就整个反过来了。评论区说得损但在理:“这种算力卡不上不下,要节能CPU就有集成NPU的,,要性能选独显+扩展坞”。bilibili评论

评论区替你做好的平替对照

还有一类高质量评论不是劝退,是报平替。显卡党:“纯算力,部署环境,易用性,2000块一张2080ti 22g直接碾压这个了”。bilibili评论也有人提两张Tesla A2:双卡32G显存、单卡200GB/s带宽、单卡功耗80W,适合追带宽的人——当然,显卡方案的体积和功耗也一起给你。

整机党:有人15000元淘了台M1 Ultra 64G,认为比这台SEi AI划算,跟帖里还补了一句"起码还是800的显存带宽"。bilibili评论也有人问"为什么不用jetson orin nano,算力差不多,2000不到搞定",还有人盯着AI MAX 395,但那台机器自己正赶上内存硬盘涨价,价格一路往上走。

这些不是推荐清单,是参照坐标:零刻的溢价在"集成、常驻、低功耗"这三件事上,你的活儿用不到这三点,平替都会更便宜。

买之前,先把3件事问清楚

一、生态是"定制可用"。SEi13AI评论区有条总结评论给的说法很准:“llama.cpp:能用,但属于厂商定制生态”。bilibili评论展开说就是:基于llama.cpp,“但支持没有进主线,后续新模型也得靠NPU厂家去一点点支持”。bilibili评论LM Studio这类GUI工具目前不支持,Windows可用但最新版本先出Ubuntu——这是有网友跟厂家技术逐一确认过的结果。

二、硬件形态。独立NPU插在M.2插槽里,配备24GB192bit位宽的内存。微博插上它,机身里就占掉一个M.2位,还想加装SSD的,先确认剩余插槽。

零刻SEi AI到底能干什么活儿?翻完两条测评视频的评论区:3种活儿已有人跑顺,4类人还是别买

机身前后接口在官方图里标得清楚,外设连接不用操心,真正要盘算的是机身里的扩展余量。评论区已经有人问下一个问题:“疑问,可以插两根 npu吗?”。bilibili评论方向理论上成立——这颗卡本来就有带宽更高的双芯方案——但以现在的卡价,双卡成本不低。

三、价格锚点在动。这张NPU算力卡其实是单卖的:“这张NPU算力卡单卖7000左右。你的电脑有多余M2接口的话,可以直接插”。bilibili评论也就是说,SEi AI的整机价,本质是"PC机身+卡"。同时,AI MAX 395这类平替正被内存涨价推着走,二手M1 Ultra、2080Ti的行情也在波动。锚点在动,买不买,按你的活儿成熟度来定。

值得继续盯的信号

  1. 后摩的llama.cpp分支会不会进主线、新模型适配跟不跟得上——决定这张卡有没有"新模型";

  2. 零刻会不会出单卡或双卡配置——决定门槛;

  3. 有没有第二家迷你主机厂跟进同类独立NPU——决定"推理卸载机"会不会成为一个品类。

最后,借SEi13AI测评评论区的一句话收尾:“所以如果需求刚好满足,真的可以”。bilibili评论前提是,先回答那个问题:你有没有活儿给它干?回答不了,就再等等,这台机器不缺货。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章