可塞进背包的AI工作站：技嘉AI TOP ATOM现场体验

2023年为了学习AI炼丹我装了一台ITX主机，小小的机箱塞进了240水冷，配了64GB内存与技嘉RTX4070显卡也算极限了。后来AI应用发展迅猛，不只是生文、生图与对话这些基础能力，建立在大模型上的各种Agent开始商业落地，但随之而来的是Token的消耗与成本急剧增长，很多AI应用开始收费，价格还不低，比如现在做一部AI漫剧至少要5000元的算力花费。于是对AI研究者、创业者来说，买台机器做本地模型部署成本更为可控。但与此同时，这对桌面AI电脑的性能配置也提出了新的要求。

技嘉科技与NVIDIA联合主办的桌面AI超算竞赛

从本地大模型部署的要求来看，传统PC最大的瓶颈在于显存容量比较有限，例如当前桌面显卡旗舰RTX5090也只有32G显存。针对这一痛点，NVIDIA去年专为AI桌面工作站打造了GB10 Grace Blackwell超级芯片，通过128G统一内存架构彻底解决显存不足的问题，同时GB10还拥有1000 TOPS的强大AI算力，极低的功耗与发热，使其可以塞进巴掌大的迷你机箱中稳定工作。

技嘉科技专案电脑事业处资深经理张风庆先生

目前基于NVIDIA GB10芯片机型尚不算多，相关产品评测很少，特别是实际使用它们做AI应用开发的评测更少。近日我有幸参加了技嘉ATOM桌面AI超算黑客松活动，并亲眼见证11组开发者现场在技嘉AI TOP ATOM桌面工作站上搭建AI应用。

技嘉AI TOP ATOM的机身尺寸十分迷你

首先介绍一下技嘉AI TOP ATOM，它基于NVIDIA GB10超级芯片，整机就是常规迷你主机的尺寸，标配电源仅为240W，可以轻松塞进背包当中。技嘉AI TOP ATOM的CPU采用10个Cortex-X925性能核+10个Cortex-A725效能核的混合架构，对，你没看错！是ARM架构！为的是保证极高的能效比，配上RTX5070规模的GPU整机功耗只有170W，非常惊人。而且现场使用中我发现它的发热也并不高，如此小的散热规模，机身摸上去只是温热而已。

单手可轻松拿持

技嘉AI TOP ATOM的一大卖点是采用128GB LPDDR5x统一内存架构，也就是CPU和GPU共享超大高速内存，并且通过 NVLink-C2C可以使CPU直接参与GPU的计算调度，延迟仅为PCIe 5.0的五分之一，带宽则达到了273GB/s速度，单机可以满足200B参数模型的要求。另外注意AI TOP ATOM的背部有一组特殊接口，通过ConnectX 7可双机互联性能翻倍，此时最高可跑405B参数模型。

北京趋境科技副总裁关嘉伟

作为一台面向AI开发者与研究者的AI迷你工作站，技嘉AI TOP ATOM不仅提供了性能出色的硬件，也提供了友好的开发生态，它除去NVIDIA本身的AI软件外，还内置AIMA推理智能管控平台，这是一套可以自动检测硬件环境、智能匹配最优配置，并且可以一键部署AI模型的工具，大大降低了使用门槛，据称可达到开箱即用，5分钟内部署生产级的AI推理服务。

自媒体参赛团队“极评测AI”

我本身是记者编辑出身，后来做内容运营与自媒体，没有技术开发背景，所以我无法直观的评估技嘉AI TOP ATOM是否真的像描述的那么快捷与易用。但这次11支参赛队伍中，有一组是非研发出身的自媒体参赛团队，他们在48小时的竞赛中使用技嘉AI TOP ATOM搭建了可帮人提供电脑配置清单的AI应用，这里不去评说其效果如何，至少让我看到了非技术研发出身的人也可以通过一定学习与研究，部署本地模型并搭建自己的AI工作流。

基于技嘉AI TOP ATOM搭建的AI智能打印应用

另外让我比较开阔眼界的是，参赛队伍的作品可谓是五花八门，有很垂直的解决某一行业实际需求的Agent，例如立志炼出纯纯的丹团队的大模型微调方案、岐黄 AI（AI for TCM）的传统中医AI化，以及中科斯欧队的降低工业场景AI算力投入门槛的方案。也有一些比较娱乐的，例如宠物情绪分析，以及玩游戏三缺一，用AI来当玩家凑人数的应用等等。

应用方向不同，各参赛团队对模型与工具的要求与选择不同，为满足开发者的不同需求，技嘉AI TOP ATOM提供了57个MCP工具接口，让各种AI Agent都可以与AIMA对接，而且其内置的AI Agent可以自主学习优化，越用越强大，后期运维成本也会降低，这些特性获得了现场不少开发者的称赞。

除去成本，数据隐私安全同样重要

另外从11个竞赛作品看，我们之所以需要本地部署模型，除去可以控制成本降低花费之外，隐私安全是另一个核心需求。技嘉AI TOP ATOM可以做到核心功能完全离网工作，这对数据安全隐私至关重要，比如做合同与医疗的，用户的隐私信息就要在本地模型进行处理，原则上不能上传到外网处理，以防隐私与核心数据泄漏。竞赛最终获得最佳作品奖的鲲鹏战队所搭建的离线多模型智能框架，就是线上大模型+本地小模型结合的方式，既降低了成本，有将隐私数据牢牢锁定在本地模型，确保了安全隐私。

再来看看价格，技嘉AI TOP ATOM目前售价在3万元人民币左右，对个人用户来说肯定不算低，而且它只能用于AI研发不能用于游戏娱乐。但对于个人创作者、初创企业以及学校等用户群体，技嘉AI TOP ATOM迷你AI工作站这种新形态产品性价比凸显，因为组装一台可以跑200B模型的传统工作站，价格会高得多，而且功耗、稳定性与后期运维都是劣势。此外，便携性也是技嘉AI TOP ATOM的一大优势，你可以把它和笔记本电脑一起塞进背包，带着它为世界各地的客户现场演示你的AI应用。

评委团对参赛作品进行打分

竞赛最后，11支参赛队伍的作品经过技嘉科技专案电脑事业处资深经理张风庆先生、NVIDIA企业开发者社区经理何琨先生、北京趋境科技副总裁关嘉伟先生以及KTransformers维护者、清华大学博士谢威宇等评委专家认真商讨后，评选出5支获奖队伍，并分别颁发了包括技嘉RTX5080风魔显卡、AI TOP ATOM超算在内的奖品。此次桌面AI超算竞赛不仅展示了技嘉AI TOP ATOM桌面超算的强大算力与友好的AI开发环境，也探索了本地模型与多元化应用场景结合的实用价值。