Flint把“本地写代码”吵上热搜:官方125 token/s是峰值,实测32K还剩六十多——这活儿到底谁能接

源自404位全网作者

16:52

这几天AI编程圈就忙着一件事:Richard Socher与田渊栋的创业公司Recursive在10月21日(UTC)开源了Flint——一个明确写着“面向本地coding agent”的编码模型。 知乎问题、B站实测、OpenCode接入教程一起刷屏,“MacBook可跑”成了封面标配。但等安装热度过去,评论区把真实数字补上了:125 token/s是短上下文峰值,32K还剩六十多、64K掉到五十多。这篇不跟着喊“本地AI编程元年”,就把三件事拆开:官方到底说了什么、社区测出了什么、哪些人值得现在就换、哪些人再等等。知乎

一、先把三个数字分清:官方怎么说、怎么说的、哪些不是官方

规格是硬事实:39.8B总参数,每个token只激活约2.5B;49层里47层是专家层,每层256个专家挑6个;上下文按模型卡口径是262,144 token(发布页提到支持512K,但官方自己建议控制在256K以内);Apache 2.0许可,商用不用谈钱,权重已上Hugging Face,国内走魔搭镜像(unsloth/flint-GGUF)。 微博上的中文摘编给出的口径完全一致。知乎微博

分数要带着条件看:官方自报Terminal-Bench 2.1 54.9%、SWE-bench Pro v2 89.7%、SWE-bench Verified 74.2%,宣称“50B以下MoE里agentic coding最强”——但同一段声明里自己也承认,六项平均分上只有阿里Qwen3.8 27B比它高。 截至10月26日,这些全是厂商自测,没有第三方复测。评测设置也不日常:temperature 1.0、至少五次尝试取平均pass@1、单任务超时可拉到五小时。 换句话说,跑分允许它“考五次取最好、交卷不限时”,你的工作流不保证。知乎知乎

Flint把“本地写代码”吵上热搜:官方125 token/s是峰值,实测32K还剩六十多——这活儿到底谁能接

速度是限定句:官方发布文的原话条件是“优化推理引擎+短上下文+排除prefill”下,M4 Pro超过125 token/s、64GB RTX Spark超过150。这句话里三个限定词,缺一个都不成立。知乎

公司背景是加分项也是争议点:Recursive今年5月出隐身时融资6.5亿美元、估值46.5亿美元。 团队宣称人和agent合作、不到4个月从零训出这个模型,自动化研发系统还参与了架构、量化、内核环节。 “AI造AI”是最大叙事,但正如知乎一篇分析指出的:整套结果不是一次只改一个变量的实验,速度和质量的收益没法归因到某一项设计上。 叙事归叙事,用还是得按实测用。知乎哔哩哔哩知乎

二、社区给出来的,是衰减曲线和两个阵营

B站实测视频评论区把峰值数字补成了曲线:M4 Pro上1K上下文约79 tok/s、缓存命中105;32K还有六十多,64K五十多——“掉是掉,没崩,比峰值数字实在”。哔哩哔哩

Flint把“本地写代码”吵上热搜:官方125 token/s是峰值,实测32K还剩六十多——这活儿到底谁能接

端到端也有对照:有人用M3 Ultra的机器3分钟写完一个落地页,同任务Qwen3.8 27B要十几分钟;短板也被同一批人直说——“512K窗口和Mac首token慢”。哔哩哔哩

评论区自然分出两个阵营。一拨拿它当玩具验完货就扔:“这模型拉完了”,配了生成样例。另一拨的置顶热评更狠:“这些小模型都没意义了,有16G显存直接上125B的Qwen3.8 Flash,27B都不行”——18条回复在下面排队反驳:“32G内存不够要64G”“3bit量化能力和27B打得有来有回”“3.8其实比27B强得非常有限”。 吵到最后,能落地的共识反而是一句朴素分工:短任务本地、长活儿切云端。哔哩哔哩

对入门用户,还有个反常识要先补上:Flint这类稀疏MoE模型“省算力、不省显存”——2.5B激活决定它跑多快,39.8B权重决定它占多少内存,KV cache也不会跟着激活参数一起缩。所以48GB统一内存是硬门槛:rec引擎先检查芯片和内存,M4 Pro以下或不满48GB直接不给下载,16GB的Mac mini出局。 这也是为什么“MacBook可跑”这句话默认你拿的是Pro级机器,而不是Air。知乎

三、解码速度不等于整单速度:换模型前先查瓶颈在哪

一篇讲“把Flint接进代码Review”的知乎文章给了个好用的算法:假设一次review串行流程是准备上下文10秒、生成1000 token、跑测试90秒、人工复核60秒——生成速度从50提到125 tok/s(2.5倍),整单只从180秒降到168秒,省6.7%;而如果新模型给过一次需要额外复核的错误结论,再加60秒,整单变228秒,反而比原来慢26.7%。 生成只占链条约九分之一,标题上的125要经过预填充、工具等待、测试和人工复核,才能变成“从提交到可接受结论”的墙钟时间。所以值得做的不是追峰值,而是给自己的工作流记一遍完整账。知乎

Flint把“本地写代码”吵上热搜:官方125 token/s是峰值,实测32K还剩六十多——这活儿到底谁能接

四、三条免费路径,对号入座

  1. M4 Pro以上、48GB统一内存的Mac用户:走官方rec工具,终端一行curl安装,先`rec doctor`查机器,再`rec launch opencode`(习惯Pi就换pi),首次启动自动下模型。注意磁盘留30GB左右,别把BF16加量化全家的283GB都拖下来。这是唯一和官方性能口径一致的路径。知乎

  2. NVIDIA、Windows和老电脑用户:Ollama拉`flint:40b-a2b-qat-int4`,或LM Studio导入GGUF,魔搭有镜像。但跑的是量化版、引擎也不是官方那套,体验不能按“125 token/s”预期。rec对NVIDIA的支持目前只有一行coming soon。知乎

  3. 不想装任何环境、先试手感的:OpenCode免费档的模型选择器里直接点Flint-40B。0元,但按容量和限流走,满了要排队,官方没承诺永久免费。知乎

成本这本账,本地侧真正的卖点是社区那句话——“token自由是AI编程的一个基础”:如果你的token是花钱买的,用起来就会束手束脚。 一次性的机器钱换不按token计费的底气,重构敢大刀阔斧、追问不心疼。但“数据不出门”这半句今年正在被重新校准:瑞典政府办公室10月26日起屏蔽办公电脑访问ChatGPT和Claude网页版,被禁的是没有合同约束的网页入口。 同样,模型本地不等于工具链离线——agent框架、浏览器、插件、MCP每一个环节都可能外发。拿本地当合规方案的,先把自己那条链路查一遍,再谈“代码不出本机”。微博知乎

Flint把“本地写代码”吵上热搜:官方125 token/s是峰值,实测32K还剩六十多——这活儿到底谁能接

五、同一周,三个开源权重把“本地生成”的阶梯摆齐了

Flint不是孤例,把本周三件事并排看,选型坐标就清楚了:

发布时间

模型

定位

关键口径

10月21日

Recursive Flint

笔记本级agentic coding

39.8B/激活2.5B,48GB Mac硬门槛,Apache 2.0

10月23日

NVIDIA Nemotron 3.5 Bolt E4B

端侧对话agent(语音助手、NPC、工业界面)

8B总/4B有效,Q4约4GB显存,64K上下文,OpenMDW-1.1可商用,llama.cpp可跑,RTX 5070自测首token约548ms、133 tok/s

10月24日

南北阁(BOSS直聘系)Nanbeige4.3-33B

企业私有化部署的编程+办公agent

33B稠密、512K上下文、Apache 2.0,自测Terminal-Bench 2.1 80.9,但BF16权重约66GB、官方示例就要4卡,普通电脑无缘;且已有媒体指出其对比表中部分对手分数与对手模型卡不一致

4GB的入门位、48GB的编程位、66GB的服务器位——“我的电脑能跑什么本地AI”,本周第一次有了分层的标准答案,比任何单篇“最低显存教程”都实在。知乎

六、给谁、不给谁,以及接下来盯什么

现在就值得试的:手里是M4 Pro+48GB级Mac的独立开发者、以及代码合规敏感(接私活、公司代码不能上云)的人——断网能干、代码不出本机,这两点云端API给不了。
再等等的:只有16-24GB显存N卡的用户(rec coming soon未落地,量化版体验另说)、以及把“125 token/s”直接换算成“效率翻倍”的人——整单收益可能只有个位数。
别被带节奏的:看到“MacBook可跑”就想下单新MacBook的——先明确用途是写代码还是聊天绘图,Flint不是全能,本地也不是免费午餐。

继续观察四个信号:①rec引擎NVIDIA/Windows版本是否真落地;②三项自测分数有没有第三方复测,尤其“50B以下最强”那句;③Qwen阵营的27B稠密路线下一步(评论区已经在催Qwen 4.0了);④OpenCode免费档能不能撑住容量。真要换,别用一次demo下结论:挑12个过去确实需要review的真实任务,冻结仓库和测试环境,新旧模型同一份上下文、同样工具,从提交到结论可接受记墙钟——过了这关,Flint才从“周末谈资”升格成“日常工位”。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章