张大妈

树莓派的新款AI HAT为本地LLM增加了8GB内存

源自公众号:F8AI

01-26 20:44

树莓派推出的新款 AI HAT+ 2 带来了 8GB 独立内存,旨在将 LLM 推理任务从主板上剥离。这块售价 130 美元的硬件扩展板,其性能表现究竟如何?它是否真的解决了树莓派用户在运行 AI 模型时遇到的痛点,或者说,它只是一个定位模糊的解决方案?这篇内容将通过详尽的基准测试,揭示其真实价值。

树莓派的新款AI HAT为本地LLM增加了8GB内存智能速览

  • AI HAT+ 2 搭载 Hailo 10H 芯片与 8GB 独立内存,功耗仅 3W。

  • 在 LLM 推理测试中,其性能远不如树莓派 5 的原生 CPU

  • 8GB 内存限制了运行更大规模的模型,而 16GB 的树莓派 5 更具灵活性。

  • 计算机视觉性能出色,但旧款 AI HAT 或 AI 摄像头也能实现。

  • 宣传的混合运行模式因软件问题,在测试中未能成功启用。

  • 结论是该扩展板更适合开发用途,而非解决普通用户的实际问题。

树莓派的新款AI HAT为本地LLM增加了8GB内存精华内容

理论上的独立内存听起来很美好,但实际性能表现和应用场景才是检验其价值的关键标准。下面将通过详细的测试数据,逐一剖析这块扩展板的真实能力。

LLM 性能对决

在相同内存配置的树莓派 5 上进行对比测试,结果出人意料。树莓派的原生 CPU 在运行 LLM 时的性能,远超 Hailo 10H NPU。究其原因,树莓派 SoC 的功耗上限可达 10W,而 Hailo 10H 被限制在 3W。尽管在能效上 NPU 略有优势,但巨大的功耗差异导致了明显的性能差距,这使得用 NPU 运行 LLM 并不是一个高效的选择。

8GB 内存瓶颈

性能之外,8GB 内存是另一个关键限制。当前许多中等规模量化模型的目标内存约为 10-12GB,AI HAT+ 2 的 8GB 独立内存捉襟见肘。相比之下,配备 16GB 内存的树莓派 5 则能通过模型压缩技术运行 Qwen3 30B 等更大模型,并成功完成生成待办事项列表应用等复杂任务,展现了远超 AI HAT+ 2 的实用性与灵活性。

视觉处理优势不再

在计算机视觉领域,AI HAT+ 2 的表现确实出色,物体识别速度比树莓派 CPU 快 10 倍。然而,这一优势并非独有。售价 110 美元的初代 AI HAT 或 70 美元的 AI 摄像头,同样能实现高效的视觉处理。对于仅需此功能的用户而言,选择更经济的方案显然更为明智。

混合模式与定位

该扩展板的一大卖点是“混合模式”,即同时处理视觉和推理任务。然而,由于软件支持尚未完善,这一功能在测试时无法运行。这反映了当前 AI 硬件普遍的困境:硬件先行,软件滞后。因此,这块板子目前的定位更像是为特定设备(如自助结账机)提供的开发套件,而非面向普通树莓派用户的成熟产品。

综合来看,AI HAT+ 2 并非树莓派用户的万能钥匙。8GB 独立内存虽是新意,但受限于性能与容量,其价值未能超越直接升级 16GB 树莓派 5。它或许在功耗敏感的特殊嵌入式场景中有一席之地,但对大多数人而言,这是否是一个值得投入的解决方案,仍需仔细考量。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐