树莓派涨到2600元,模型缩到14MB:手里的旧树莓派能跑本地AI

源自82位全网作者

19:55

11 月 2 日起,树莓派官方把 Pi 5 的 16GB 版从 305 美元调到 385 美元——约合 2600 元人民币,买到的还只是一块单板,Compute Module 5 的 16GB 版本同样跟涨。但真正有意思的是另一组数字:同一时期,能塞进树莓派跑的 AI 模型,正在从“GB 级”缩到“MB 级”。知乎小红书

一个涨价,一个缩水,方向相反的两条曲线其实说的是同一件事——树莓派的玩法变了,最受益的不是准备买新板的人,而是手里已经有一块树莓派的人。

树莓派涨到2600元,模型缩到14MB:手里的旧树莓派能跑本地AI

14MB、每秒 500 token:小模型专跑“小事”

Cactus Compute 的 Needle 2 最近在 B 站科技区被反复拆解:只有 4500 万参数、14MB 体积,在树莓派 5 上能跑到每秒 500+ token,而且不走通用聊天路线,专攻工具调用与设备控制。它不负责陪你聊天,你说“把客厅空调打开”,它要在几十个 API 里挑对那一个、把参数填上;能缩到 14MB,靠的是工具检索、语法约束解码、Hadamard MLP 加 n-gram 记忆这些压缩手段。哔哩哔哩

树莓派涨到2600元,模型缩到14MB:手里的旧树莓派能跑本地AI

先别急着封神,基准测试同样暴露了短板:函数名选择准确率约 98%,但完整参数全部填对只剩约 64%,BFCL 工具调用基准整体得分约 43%,背后是有效约 2.2 位/权重的激进量化。评论区那句总结很到位:小模型干窄活行,深度活还得交给云端大模型。哔哩哔哩

190 万参数:断网也能声音克隆

几周前刷屏的还有完全开源的 Pocket TTS:当语音合成模型普遍是几亿到几十亿参数时,它只用了 190 万参数,手机和树莓派都能跑,还支持声音克隆。知乎

树莓派涨到2600元,模型缩到14MB:手里的旧树莓派能跑本地AI

这对语音交互是个质变:断网能用、声音数据不出本地,医疗、儿童产品、本地助手这类以前不敢碰云 API 的场景突然有了选项,语音从“每用一次付一次钱”变成“部署一次、后面白用”。作者的提醒也很清醒:190 万参数换走的是音质表现力和长文本稳定性,它的定位是“够用、本地、免费”,不是替代云端大模型——真选型前,拿自己的文本实测一遍,比看任何评测都靠谱。知乎

旧树莓派,现在是性价比最高的本地 AI 平台

如果你之前嫌智能家居“各管各的”,这两块拼起来正好:有知乎用户从 0 开始,在树莓派 4B 上搭起以 Home Assistant 为核心的中枢,把 ESP32、蓝牙网关、温湿度传感器这些“小玩意”收进一套系统。小红书上也已经有人专门做“esp32、树莓派就能直接流畅运行的大模型?”这类实操内容。知乎小红书

以前缺的是跑得动的低功耗平台,现在又多了小得不占存在感的模型。涨价当然是坏消息,这个不洗。但另一个事实是:手里的 Pi 4/5 先别急着嫌它旧,本地 AI 根本用不到 16GB 内存——14MB 就够了。下一个值得琢磨的问题不是“该不该买”,而是“家里哪件事可以先让它跑起来”。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章