35B打脸千亿模型!开源编程Agent自己写代码自己改bug,消费级显卡就能跑
不同规格怎么选?先看能跑动什么
35B 版本性能到底什么水平
直接看硬数据。Terminal-Bench 2.1 考察模型在终端环境下操作命令行、改代码、排查问题的综合能力,Ornith-1.0-35B 拿到了 64.2 分——超过 Qwen 3.5-397B 的 53.5 分,参数差了十倍以上。SWE-Bench Verified 考的是解决真实 GitHub Issues 的能力,Ornith-1.0-35B 拿到 75.6 分,逼近 Qwen 3.5-397B 的 76.4 分。SWE-Bench Pro 是更高难度的重构版本,50.4 分领先同尺寸的 Qwen 3.6-35B。在 35B 这个消费级硬件能承载的规格里,Ornith-1.0-35B 在所有主要编程基准上都是领先水平。101112
| 基准测试 | Ornith-1.0-35B | Qwen 3.5-397B | Claude Opus 4.7 |
|---|---|---|---|
| Terminal-Bench 2.1 | 64.2 | 53.5 | 70.3 |
| SWE-Bench Verified | 75.6 | 76.4 | 80.8 |
| SWE-Bench Pro | 50.4 | 60.6 | - |
| NL2Repo | 34.6 | 36.8 | - |
它的短板在哪里
Ornith-1.0 的自改进机制在单线程、确定性的编程场景下表现不错——逻辑方向写反、类型错误、空指针这些常规 bug,模型能自己定位并修正。但一旦涉及并发、时序、外部依赖这些非确定性因素,评估管道就会漏掉问题。比如多线程任务调度器里经典的竞态条件,两个线程同时读取共享状态没有锁保护,单次单元测试在非并发环境下会通过,模型自己也发现不了。目前的自改进更像一个自动化 lint + 单元测试框架,要它理解死锁、分布式时序问题,能力还不够。15
另外在纯推理和数学任务上,MoE 模型依然落后于同级别 Dense 模型。实测 Ornith-1.0-35B 编码和工具使用能力已经和 Qwen3.6-27B 几乎持平,但在数学推理上差距明显。如果你主要做的是复杂算法推导而非工程编码,选型时需要考虑这一点。8
适合谁,不适合谁
当前文章无评论,是时候发表评论了