小主机能做什么?技嘉AI TOP ATOM发力本地AI,让开发更快更简单
7月26日下午,由技嘉与NVIDIA联合主办的“技嘉ATOM桌面AI超算黑客松“活动在北京圆满举行。11组硬核开发者、48小时,依靠一台功耗仅170W的桌面设备——技嘉AI TOP ATOM,跑通了本地大模型推理与微调,拿出了可运行的方案。

这台AI TOP ATOM搭载着NVIDIA GB10 Grace Blackwell超级芯片,有128GB统一内存,CPU与GPU通过NVLink-C2C互联共享内存池,带宽达273GB/s。整机功耗只有170W,FP16算力31.25 TFLOPs。单机可以跑200B参数模型,两台串联后能推到405B!

技嘉表示,ATOM系列产品的目标,在于降低本地AI算力的获取成本,拓展轻量化桌面超算在教育、科研及行业应用中的落地场景。
而11组开发者们盯上的,就是“本地化”部署这三个字。方案覆盖了私有化硬件智能体定制、医保结算优化、离线多模型组合框架、传统中医知识数字化、门店多Agent管理、工业场景本地化智算等方向。

其中获得最佳作品的鲲鹏战队,以离线多模型智能框架,大小模型自由组合拿下头筹。最具落地潜力奖给了中科斯欧战队,他们的方向是降低工业场景AI算力投入门槛,做本地化桌面智算方案。岐黄AI战队的项目挺有意思,为传统中医的智慧做了数字化传承。瓦瓦战队则是为日常文案设计做为本地部署模型。
所有的获奖项目都有一个共同点:数据不出域,离线可用。

这也得益于技嘉联合趋境开发的,AIMA推理智能管控平台。该平台支持自动检测硬件、智能匹配配置并一键完成模型部署,全部核心功能可离线使用。有开发者现场演示了从开机到跑通模型的全过程,整体耗时在5分钟以内。

整场活动传递出一个明确的信号,桌面设备跑大模型的门槛正在被重新定义。170W的功耗、128GB的统一内存、一条命令即可完成部署!这此都指向同一个方向,让本地AI开发变得更轻量化、更快捷、更简单。
技嘉与NVIDIA联合主办的此次活动,充分验证了轻量化桌面设备,在AI开发场景中的实际可用性。在时下算力中心资源紧张、数据安全要求提升的背景下,技嘉致力于开拓将200B级别模型的推理与微调能力,下沉至低功耗桌面终端,将成为AI开发关注的新方向。
