11月11日,谷歌在X平台更新了自家Android Bench安卓开发基准,Kimi K3.1 Pro与DeepSeek V4.1 Flash第一次同时出现在一份考察真实Android工程任务的卷子上,通过率分别是24.0%和17.3%。同一页的成本栏写着另一半故事:跑完这批任务,Kimi侧花费317.4美元,DeepSeek侧只要9.9美元,约为三十二分之一,速度与成本优势被直接标在榜单上。这两份新跑分的看点不是7个百分点的差距,而是同一张安卓卷上能力分差7个点、成本差30倍——给安卓写代码选AI,第一步是把分数换回你工作流里的真实账单。IT之家微博
先看清这是哪张卷子
Android Bench是谷歌自己维护的榜单,今年年初推出,专门衡量AI模型在安卓开发场景里的编程辅助能力,十月底起新增平均调用成本指标。9月的2.0版把评测重点从对既有仓库修缺陷、加小功能,转向了长周期任务与智能体评测。另一个容易漏掉的细节:榜单页把成绩和执行它的编码agent成对公示——Kimi挂在kimi-code上,DeepSeek挂在第三方opencode上。你比的是模型+执行壳的组合产出,换一层壳,分数就可能变。微博IT时代网
Android Bench上还有一栏比通过率更值得细看:完成度。K3.1 Pro为82.3%,高于GPT-6.1 Terra;V4.1 Flash为71.2%。意思是失败任务里Kimi平均推进得更远——多模块Gradle大工程反复修改、崩溃归因这类长程工作,完成度比通过率更贴近收益;而一天跑几十次构建、改小功能的人,“同样的钱多跑几遍”更实在:按榜单成本,317美元够V4.1 Flash把整套任务跑三十遍。
通用卷上的分数,回答的是另外的问题
10月下旬上线的K3.1 Pro,在通用评测里的卖点是长程编程:SWE-Marathon v1.1拿51.7分,Terminal-Bench 4.0拿65.7分。在Artificial Analysis的综合智能指数里排全球第四、开源第一。DeepSeek V4.1 Flash(1017版)的官方叙事完全在成本侧:10月17日发布,接口价格不动,把干完一项任务的平均成本从3.3元压到1.3元,降了六成。前者回答“多复杂的工程能啃下来”,后者回答“干完一单最低多少钱”,Android Bench回答的则是“谷歌定义的安卓任务干得怎么样”。三份卷子三种问题,分与分之间没有换算公式。知乎另镜知乎
真正容易踩的坑不在跑分上,在额度上
K3.1 Pro“啃得动”的代价,先体现在订阅额度上:默认激进地拆任务、拉起子Agent、输出偏长,199元档用户一句“审查项目架构”,十几分钟额度见底;10月26日,Kimi上线不到两天就为限流和额度消耗公开致歉,按各档月度总额25%补偿,随后上线了子Agent开关。在“全功能共享一个额度池”的订阅模式里,模型的自主性直接变成额度的消耗速度——跑分再高,额度不经用也是白搭。另镜
DeepSeek的账单也多了新行:11月1日起,Agent干活时自动联网用的Search、Fetch接口按各5元一千次成功请求计费,网页和App聊天照常免费。但横向比单任务完成成本,它仍然便宜一大截——国内致知猫榜的Agentic测试里,同一个Rust App任务,DeepSeek V4.1 Flash花12.32元,K3.1 Pro花221.21元。两家的差异不是贵贱,而是两套账单结构:一个要管住它输出冗长,一个要盯住工具按次计费。知乎另镜
IDE的门已经开了,模型按任务分工
10月28日的Android Dev Summit上,Android Studio Rabbit 2正式版开放Bring Your Own Agent,40多个支持ACP协议的助手可直接装进官方IDE,它们不止写代码:能读项目结构、跑构建、看Compose预览、调模拟器、查Logcat、拿生产崩溃报告。安卓侧接模型的门槛基本消失,剩下的就是按任务分工:长程重构、崩溃归因对应K3.1 Pro的通过率与完成度;高频小改、日志和代码复核对应V4.1 Flash的快与省,主力干活、Flash挑刺复核的组合已在开发者社区里流行。用DeepSeek还可以把模型调用尽量排到夜间或周末,价格减半。小红书知乎知乎
最后三条边界:这份榜单按谷歌自己的工程框架维护,绝对通过率都不高——同场评测的Gemini 4 Argon首秀通过率仅21.3%、排名第五,说明目前没有哪个模型能“包办大多数安卓任务”,别把新跑分读成反方向的结论。成本是整轮测试的合计数,不等于单个任务的零售价,按你真实的任务频次去摊。而11月5日K3.1 Pro已开放权重,私有化部署是榜单之外的第三本账,硬件与并发算完再评估值不值。比看任何榜单都靠谱的做法只有一个:从自己仓库里挑一个真实bug或一个待重构模块,让候选模型各完整跑一遍构建、测试、修复的闭环,看修没修好、花了多少钱、用了多久。IT之家知乎