树莓派AI HAT+ 2扩展板专为树莓派5设计,通过40 TOPS算力和8GB板载内存,让用户能在本地运行大语言模型和视觉模型,摆脱对云端服务的依赖,为边缘端AI开发带来新可能。

智能速览
搭载Hailo-10H加速器,提供40 TOPS(INT4)推理算力。
配备8GB板载专用内存,支持处理大型生成式AI模型。
可在断网环境下执行代码编写、翻译及实时画面描述等任务。
精华内容
这款扩展板的实际表现究竟如何?它的硬件升级和软件生态能否真正支撑起复杂的本地AI任务?下面进行深入探讨。
硬件性能飞跃
AI HAT+ 2 的核心是 Hailo-10H 神经网络加速器,其峰值算力达到 40 TOPS(INT4)。与前代产品相比,这不仅是数字上的提升,更关键的是配备了 8GB 板载专用内存。
这一设计让加速器能够直接在本地处理远超以往的大型模型,是运行生成式 AI 的基石。官方强调,在处理 Yolo 等传统视觉任务时,其性能与前代 26-TOPS 版本相当,确保了向后兼容性,并无缝支持 libcamera 等现有摄像头软件栈。
软件与模型支持
在软件层面,AI HAT+ 2 提供了开箱即用的体验。它首发即支持安装多款当前热门的开源模型,包括 DeepSeek-R1-Distill (1.5B)、Llama 3.2 (1B) 以及 Qwen2.5 系列。
用户可以通过 Hailo-ollama 后端配合 Open WebUI 前端,在浏览器中轻松搭建一个类似 ChatGPT 的本地聊天机器人界面。这大大降低了用户使用边缘 AI 的技术门槛,开发者可以快速上手,专注于应用创新而非环境配置。
应用场景演示
官方演示直观展示了该扩展板在完全断网环境下的实际能力。例如,使用 Qwen2.5-Coder 模型,设备能够流畅地执行代码编写任务;通过 Qwen2 模型,它能快速完成法文到英文的翻译。
最引人注目的是视觉语言模型(VLM)的应用,设备能够实时分析并描述来自摄像头的画面内容。这些场景证明了 AI HAT+ 2 不再仅限于概念验证,而是能够在真实场景中提供高效、私密的 AI 计算服务。
树莓派 AI HAT+ 2 通过硬件与软件的协同升级,成功将本地生成式 AI 的门槛降至普通开发者可及的范围,为边缘计算领域注入了新的活力。它能否激发更多基于树莓派的创新应用?