谷歌安卓AI开发基准榜更新:Kimi K3.1 Pro 通过率 24.0%,DeepSeek V4.1 Flash 成本 9.9 美元,榜首仍是 Claude Sonnet 5.5

源自169位全网作者

13:13

北京时间 11 月 10 日凌晨,谷歌 Android 开发者官方账号在 X 平台宣布向 Android Bench 榜单新增三款模型的跑分,分别是 OpenAI 的 GPT-6.1 Terra、月之暗面的 Kimi K3.1 Pro 与 DeepSeek 的 V4.1 Flash。 新三款的成绩是:GPT-6.1 Terra 通过率 28.7% 居首,Kimi K3.1 Pro 为 24.0%、平均完成度 82.3%,DeepSeek V4.1 Flash 1017 为 17.3%、完成度 71.2%。 但整张榜单的头名仍不属于任何新面孔:Claude Sonnet 5.5 以 40.0% 通过率居首,三款新模型都没能追上去。 换句话说,即使是榜单最强的模型,也还完成不了六成长周期安卓工程任务,选型必须把通过率和成本放在一起算账。IT之家微博快科技

这份榜考的是“工程师要写好几天”的活

Android Bench 是今年年初推出、专门衡量 AI 模型在安卓开发场景里编程辅助能力的基准,现在还加入了平均调用成本指标,榜单由谷歌自己维护。 今年 9 月上线的 2.0 版本把重心转向长周期任务与智能体评测:第一版只考既有代码仓库的增量改动、修 bug 和小功能需求,2.0 则针对工程师要数天甚至一周才能完成的高复杂度任务,比如新增功能、从零构建应用、把跨平台应用迁移到安卓,评分也从及格与否改为综合功能完成度、视觉还原度和回归情况的连续计分。 刷新后的 2.0 榜单共设 30 项长周期开发任务。微博IT时代网快科技

Kimi K3.1 Pro:权重刚开源,通过率翻倍

这是一款原生多模态、1M 上下文的 3T 级 MoE 模型,总参数 2.8T、激活 104B,K3.1 相比 K3 把部分注意力层换成了 Gated DSA,优化方向是长上下文与推理成本,而不是单纯堆跑分。 它的完整模型权重于 11 月 4 日由月之暗面公布,昇腾当天就完成了推理适配。 落到这份榜上,它以 24.0% 的通过率、82.3% 的平均完成度排在中国模型的首位;同一张榜单上,上一代 Kimi K3 的通过率只有 12.0%、单轮成本 418.3 美元、耗时 66.2 小时,相当于一次换代把通过率翻倍、时间成本压缩了近六成。微博华为中国

DeepSeek V4.1 Flash:10 美元跑进 17%

DeepSeek V4.1 Flash 于 9 月 10 日正式发布,官方当时就表示它在性能、费用、速度、总用时等指标上全面超越 V4 Pro,并计划有序下线 V4 Pro。 这次测试的 1017 是其更新后的版本快照:单轮耗时 12 小时、成本仅 9.9 美元,约为 Kimi K3.1 Pro 单轮成本 317.4 美元的三十二分之一。 采用端同样印证了低价路线的吸引力:OpenRouter 周调用量数据显示,DeepSeek V4.1 Flash 1017 以每周 56 万亿 Token 连续三周位居全球第一。微博快科技微博

几个百分点的差距,别急着当真

榜单为每款模型都给出了置信区间:Kimi K3.1 Pro 约 12.0%–37.3%、GPT-6.1 Terra 约 14.0%–42.7%、DeepSeek V4.1 Flash 约 6.7%–28.7%,三个区间大面积重叠,换一批任务样本,三者的排序就可能不同。连谷歌自家的 Gemini 4 Argon 在这份自家维护的榜单上,也明显落后于最新版 Claude 和 GPT 系列模型。 基准还统一运行各家模型厂商配套的智能体,各家使用的推理档位并不相同,分数差里混着配置因素,跑分口径是否统一,直接影响它能否被用来拍板选型。微博IT时代网微博

这些数字怎么用

对真正在写安卓应用的团队,这张榜单最实际的用法是把“通过率 × 成本”当成一本账:失败代价低、需要大量迭代的任务,先用 10 美元级别的方案把反馈跑起来;要求一次做对的高难度任务,再考虑通过率更高、但单次测试数百乃至上千美元的模型。 也要看清边界:Android Bench 回答的是智能体能否独立完成长周期安卓工程,不等于日常补全和结对写码同样不可用;测试项、权重和成本口径都握在谷歌手里,单一榜单既证明不了谁最强,也替开发者做不了选择,自己项目的真实水平,还得回自己的代码库里跑。微博

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章