9月23日下午4点,树莓派官方账号发了一条笔记:“14MB大模型,让Raspberry Pi听懂你”——Cactus Compute团队的Needle 2。半小时后快科技的稿子标题更直白:仅14MB,树莓派5纯CPU就能把自然语言指令实时转换成预设函数调用,不用AI加速扩展板,离线毫秒级响应。快科技
官方笔记里藏着一组比标题更有说服力的数字:在终端输入"Turn the LED on",78毫秒,板上的LED就亮了。你问它"法国的首都在哪",它92毫秒返回空值——因为这不归它管;整个Python演示的内存峰值不超过46.4MB。树莓派CEO Eben Upton亲自站台:“非常出色。”小红书
而就在官方翻牌前三个小时,一位微博用户刚发完实测吐槽:“网上查到资料说needle很适合特定领域的工具调用,赶紧弄了一个下来测试,结果完全不能用,还不如qwen2.5-0.5b。”微博
官方背书和翻车帖同一天出现。与其站"新闻"或站"翻车",不如把两边的账摆开:这个14MB到底能干什么、跟你手里的板子什么关系、试之前要准备什么。

一、它不是今天才冒出来的:五个月,三代,实测比官宣跑得早
这条线已经跑了大半年,而且节奏一路加速:
5月17日:Cactus Compute开源初代Needle,B站的转述口径是:26M参数、从Gemini 3.1蒸馏、INT4量化只有14MB,手机上本地跑6000 tok/s,单轮工具调用超过FunctionGemma 270M和Qwen 0.6B。架构上的动作更大:MLP/FFN前馈层被整个删掉,换成零参数的正交变换,世界知识塞进n-gram哈希查表。哔哩哔哩
8月12日:Needle 2发布,爱可可的解读写得很清楚:4500万参数压回14MB二进制,完整会话只吃约28MB内存,聊天能力和百科知识被完全剔除,专职三件事——工具调用、设备控制、结构化数据提取。同期的评测稿补了更硬的数据:工具名识别98.3%拿到公开基准全场第一,陌生工具集的域外泛化28.7%、领先第二名11.7个百分点,开源后多次冲上GitHub趋势榜、积累约8.8k星。微博搜狐
8月18日-20日:实测潮来了。海外技术号把14MB模型塞进10美元级的ESP32芯片直接跑通。B站UP主在"裸奔"的ESP32-S3上验证"确实名不虚传",还有人当晚把模型编译成WASM塞进Chrome扩展,全程零API key。哔哩哔哩
9月中旬之后:Needle 3的消息开始流传,最具体的整理是:参数2500万到1.21亿、2比特量化、第2到第20层每一层可单独拆出来部署——所以才有"8-29MB"这个体积区间,宣称树莓派5上解码最高每秒4000 token。注意"追平DeepSeek V4 Flash"目前只是开发者口径的转述,没有可核实的第三方评测,这句先打折听。小红书
9月23日今天:官方翻牌,重点不是"又一个小模型",而是针对树莓派5 CPU环境的适配,官方笔记的定性也很克制:并非聊天机器人,它专注于设备端操作。树莓派官方账号
顺带一提,端侧这条线不止它一家:2M参数的扩散模型已经被塞进Pico级板子跑图像生成,PicoClaw这类跑在MCU上的智能体玩法年初也火过一轮。"模型必须大"这个前提,正在被一块一块拆掉。

二、它干的事不是"让树莓派跑AI",是"把话变成函数"
演示只需要三行代码:`pip install cactus-needle`,在函数上挂一个`@needle.tool`装饰器,函数签名定义参数、docstring描述用途——然后"把灯光调到三成"这种话进来,出去的是一串可解析的JSON函数调用。
它为什么快?架构决定了它是"偏科生":没有负责"回忆知识"的FFN层,从上下文里现找工具描述恰是它的长项;语法约束解码让它在物理上吐不出格式错误的JSON;处理不了就返回空调用,绝不硬编。有开发者把它的生存空间说得最准:“走云端LLM就得卡三秒,三秒之后环境已经变了,Needle的定位就是打这个缝。”知乎
所以看清楚了:它是一根意图路由的水管,不是一个管家。官方笔记的使用说明书就是这个意思:"如果你平时就在使用 GPIO Zero 写控制程序,现在只需加一行代码,就能让你的 Raspberry Pi 听懂指令了。"它接在你已经写好的能力前面。小红书
三、“碾压十倍大小"和"完全不能用”,为什么都是真的
今天这两拨反馈不是谁在撒谎,是在不同的考卷上答题。把两边的证据摊开:
"可用"的考卷是闭卷选函数:工具列表小而干净、注释把参数含义写死,它拿的是全场最高分(工具名识别98.3%)。海外实测、裸板ESP32-S3验证,以及小红书上有HA玩家把它包成OpenAI兼容接口喂给Home Assistant,都属于这一类——从意图到调用,不出设备。
"翻车"的考卷它真的不行:综合工具调用基准BFCL v4单轮实验Overall只有42.6%、排最后,Apple FM 61.7%、LFM2.5 60.8%都在它前面。这不是bug,是功能设计如此:它完全靠你写的工具描述做决策,描述质量直接决定成败。搜狐
所以那句"还不如qwen2.5-0.5b"大概率是预期错位:0.5B是能兜着聊两句的通用模型,Needle是不会兜底的专用路由器——拿"当小号通用模型"的期望去考"意图分类器",两边都不冤。它赢在用可预测性换掉通用性:不追求聪明,但绝不给你意外。生产环境里,这个取舍恰好是端侧最缺的品质。
四、跟你的树莓派什么关系?四种人四种结论
1. HomeLab/语音智能家居党——最值得试,零成本。
在已有的板子上pip一个库,给Home Assistant加一层离线意图路由:断网能用、毫秒响应、不进云。注意分工:它只做"听懂并分发",对话、天气、知识还是得接在外面——8月底就有人做了"Needle 2+树莓派+云端模型"的组合:本地听指令、云端聊内容。哔哩哔哩
2. 手里Pi 5、正纠结要不要补一张AI扩展板的——别为"听懂人话"花这笔钱。
社区已经验证过一轮:标称40 TOPS的官方AI HAT,对跑文本小模型时被树莓派5自己的CPU赢了四局里的三局,TOPS到tokens/s隔着好几道关——那张板子是为视觉准备的,跑YOLO类约30fps、省CPU占用。Needle 2根本不碰扩展板:一百多美元买不来"听得懂";已经有HAT的正确姿势是HAT管摄像头、Needle管指令,各干各的。知乎

3. 抽屉里有吃灰的Zero 2W/4B——老板子有了新唤醒理由,但反过来也成立。
28MB内存的占用,Zero级小板跑得动;ESP32-S3那种几十块钱的卡片机更不在话下。但注意性价比的另一头:如果你要的只是端侧指令调用,新买板子的钱可能根本不该花在树莓派上——在Pi 5行情涨了近三倍的背景下,这笔账更得这么算。
4. "一个树莓派取消所有AI订阅"党——先泼冷水。
“全离线"指的是指令层不出户,不是智能出了云。把"14MB跑AI"读成"树莓派平替Claude"的,每一轮都会失望一遍;这条官方笔记的标题其实已经说得很准了——“让树莓派听懂你”,不是"让树莓派陪你聊”。
五、要试的话,按这个顺序(以及三个观察信号)
最低成本路径:不买任何东西。Pi 5(或者吃灰的4B)上装好后,把Home Assistant/SSH里你真实要用的3-5个操作包成函数,注释按Hacker News上那条实测教训写——只写一个词的会失败,把用途写全了才正常。先测指令路由命中率,再考虑挂语音入口。翻车最常见的姿势就是第一步包了二十个函数、注释一句话,那是给自己埋雷。搜狐

三个继续观察的信号:
Needle 3的"8-29MB、拆层部署"是否随官方仓库落地、有没有第三方复测——目前只有转述口径;
树莓派官方会不会把它做成像AI Camera那样的官方套件演示——今天是"账号翻牌+CEO点赞",官方化才是下一步的分水岭;
未来一周社区实测帖的翻车率——今天这条吐槽帖提醒我们:这个品类的真实评测,比通稿值钱。
一句话收束:这14MB改变的不是树莓派的算力,是"意图识别"这一层的硬件门槛。指令→函数从今天起有了彻底本地的解法;要不要上车,看你手里有多少个函数等着被喊。