10月19日下午，B站一个粉丝量刚过两位数的UP主，发了条4分24秒的视频，标题叫《让10家AI从零手搓文件系统，写完直接拔电源216次，谁才是真靠谱？》。弹幕还是0，采集时播放量81——但这事的原始数据，是藏在GitHub里默默跑了七个星期的一份公开基准：swordfeng/benchfs-public，仓库8月28日建，成绩表10月4日还在更新。顺带一提，这条视频简介里写明"视频制作：Opus 5.5"，连传播这份基准的片子本身都是AI做的。对天天琢磨"用AI手搓系统级代码到底靠不靠谱"的自制系统党来说，这份数据比热搜上那些"AI一句话生成XX"的demo值钱得多。我把README和全部成绩表逐行核了一遍，值得存下来的东西不少。哔哩哔哩GitHub
先看清楚考试规则，再谈成绩
很多"AI写系统"的争论最后都变成口水，是因为没人说清测的是什么。BenchFS的规则其实很克制：
同一份任务规格，统一给Rust SDK、FUSE接口和初始代码框架，10家AI（11组选手，因为Fable 5.1跑了两个agent）从零实现一个文件系统；
agent自主完成实现、测试、调试，开发预算最长12小时，人只负责提供初始任务和管理环境，不改代码、不给提示；
交付后在全新虚拟机里重新构建，执行测试前锁定网络——防止agent"上网找答案"；
测试题目不公开，防止后续模型把它背进训练集；
评分六个轴：正确性、稳健性、代码评审、真实应用、性能、可维护性，分项满分均100。
环境是Ubuntu 24.04、8 vCPU/16GiB、Rust 1.97.1 + libfuse 3.18.2，每个模型/agent组合只开发一次。这几点决定了成绩的正确读法：它是"单次长程系统开发"的成绩，不是"AI通用编程能力"的统考，而且被测的是用户态文件系统（通过FUSE转接），不是真正塞进内核里的实现。GitHub
11组成绩单
模型 / Agent | 总分 | 正确性 | 稳健性 | 代码评审 | 真实应用 | 性能 | 可维护性 | 开发时长 | 估算费用 |
|---|---|---|---|---|---|---|---|---|---|
GPT-6 Astra / Pi | 90.05 | 98.40 | 100.00 | 90.91 | 75.00 | 55.44 | 87.63 | 3:52:51 | $77.86 |
GPT 6.1 Sol / Pi | 89.59 | 98.47 | 100.00 | 86.96 | 75.00 | 60.64 | 83.32 | 7:14:12 | $12.87 |
Opus 5.5 / Claude Code | 88.63 | 99.84 | 100.00 | 62.50 | 100.00 | 63.78 | 96.17 | 3:07:09 | $39.28 |
Fable 5.1 / Claude Code | 80.10 | 98.02 | 92.44 | 44.84 | 75.00 | 64.83 | 87.02 | 2:59:12 | $40.69 |
Fable 5.1 / Pi | 77.52 | 96.74 | 88.50 | 38.31 | 75.00 | 62.63 | 90.76 | 5:16:10 | $72.41 |
GLM 5.3 / Pi | 75.66 | 96.89 | 99.72 | 27.47 | 75.00 | 46.94 | 82.30 | 7:32:19 | $62.99 |
Kimi K3 / Pi | 75.03 | 94.51 | 97.61 | 26.88 | 75.00 | 53.15 | 84.78 | 6:52:08 | $90.50 |
GPT 5.6 Sol / Pi | 70.42 | 96.48 | 91.17 | 31.15 | 50.00 | 33.99 | 75.69 | 2:42:57 | $7.81 |
DeepSeek V4 Flash 0731 / Pi | 66.00 | 91.32 | 85.83 | 15.95 | 50.00 | 47.59 | 78.42 | ≥12:19:49 | $3.26 |
Gemini 3.8 Flash / Pi | 65.59 | 92.11 | 81.28 | 17.86 | 50.00 | 51.24 | 68.11 | 3:05:17 | $31.62 |
Qwen 3.8 Flash Next / Pi | 63.78 | 91.06 | 68.72 | 16.39 | 50.00 | 57.02 | 83.67 | ≥12:00:54 | $3.29 |
另有一个人写的参考实现（Reference），总分94.31，仍然压住所有AI。 注：稳健性等分项带*的为部分测试预算未判定，成绩按已判定部分暂计。GitHub
榜单自己也被"重算"过一次：别只看总分
这张榜有一个容易漏掉的细节：它被校准改写过。仓库截至10月1日午间的成绩图快照里，当时满分口径还是"已测项目最高65分"，Opus 5.5以64.97排第一、GPT-6 Astra 64.09排第二；到10月4日，作者把评分基线校准为v3，GPT-6 Astra以90.05登顶，Opus 5.5以88.63退居第三行。两个模型的代码一行没动，变的只是权重口径——README里也保留了"新旧分数与校准身份"的对照文件。这件事对手搓党的实用含义是：总分是口径的产物，选型要看分项。同一份最终成绩里，Astra赢在代码评审（90.91 vs 62.50），Opus赢在真实应用（100 vs 75）和性能（63.78 vs 55.44）。你要的是"评审没高危问题"还是"喂给真实软件不翻车"，决定你该看哪一行。GitHub
反常识第一点：基本操作早就拦不住AI了，分差全在"出事故"的时候
看细分数组的话，第一反应会是"怎么人人都是满分"——BenchFS语义测试44项，11组全部44/44通过；pjdfstest检查POSIX语义的169项，所有组都在168~169之间。也就是说，"读写目录、建链接、查权限"这类功能演示层面，AI已经不是问题了。
真正的分水岭在xfstests（194项上游测试，各组通过167~189项）和两个更狠的轴：
216个崩溃用例（就是标题里"拔电源216次"的出处）。Astra、GPT 6.1 Sol、Opus 5.5三组216/216完整通过；GLM差1个、Kimi差11个、DeepSeek差10个；Gemini和Qwen两组只完整通过146和150个；垫底的是Fable 5.1的两组——分别只过了79和80个。
但Fable 5.1这个"垫底"特别值得拆开看：它的磁盘结构得分100、数据正确性得分100，崩溃后数据一个没坏；崩掉的全在"卸载与重开"这一项，216个用例里有136个是"失败后未再次打开"。翻译成人话：断电不丢数据，但重启后文件系统自己起不来。这种故障，用开机截图验收永远看不出来——demo全绿，换台机器重挂就趴窝。这也是这份基准对自制系统党最实用的一课：验收动作应该是"拔电源、重新挂载、再读写一轮"，不是"跑通演示"。
真实应用轴更残酷：把文件系统交给真实应用跑，重新打开后继续验证。11组里只有Opus 5.5（Claude Code）4项全过，其余全部75分（3/4）或50分（2/4）打底。
反常识第二点：钱和分数，关系没你想的大
把总分和费用放一起看，是这份表最该收藏的角度：
第1名和第2名差0.46分，费用差6倍：Astra $77.86 vs GPT 6.1 Sol $12.87。这组"分差在误差级别、价差在钱包级别"的对比，基本定义了什么叫性价比。
Kimi K3输出478,897 tokens，费用$90.50；Opus 5.5输出472,273 tokens，费用$39.28。输出量几乎一样，标价成本差2.3倍——"费tokens"和"费钱"是两个维度。
垫底三组恰好全是低成本Flash系：DeepSeek V4 Flash $3.26、Qwen 3.8 Flash Next $3.29、Gemini 3.8 Flash $31.62。而且DeepSeek和Qwen两组的时长记录是"≥12:xx:xx"——只留了最后一笔记录，等于跑满了12小时预算。便宜档模型在这次测试里的共同画像是：能干活，撑不完一场12小时的系统级长程开发。
GLM 5.3开发时长7小时32分、54万tokens、$62.99，最后75.66分——贵和慢，都不保送前排。
对照一下圈内另一个名场面就明白这个价签意味着什么：5月知乎火过的"5.2元把超级玛丽搬进BIOS"——Claude Code挂DeepSeek V4 Pro，两个多小时、约0.7美元API费，把41KB的红白机ROM完整移植进UEFI Shell并开了源。玩具级项目，AI成本不到1美元；而BenchFS里"12小时系统级长程开发"，最便宜的完赛也要$3.26，80分以上的四组分别是$77.86、$12.87、$39.28、$40.69。手搓一个能跑的游戏demo和手搓一个拔电216次不丢数据的东西，是两个价位的事。知乎
必须提醒的口径：每组只开发一次、按API标价估算，没有方差数据。 所以这些是方向参考，不是"便宜必翻车"的保证。GitHub
同一个模型，换个agent，分数自己就变了
Fable 5.1是唯一跑了两套agent的模型：Claude Code 80.10分，Pi 77.52分，差2.58；其中代码评审分项差得最狠，44.84对38.31——Claude Code那版被独立评审查出1个Critical，Pi那版查出6个High。也就是说，在你没察觉的地方，agent框架（工具配置、结束判断）直接吃掉了模型表现。手搓党纠结"选哪个模型"之前，可能得先加一个问题：“这个模型的哪套壳更稳”。GitHub
"能用"和"够快"是两回事，性能列见人品
性能轴对照的是ext4/XFS/Btrfs的生产速度目标，各组总分列的得分都落在34~65之间。更能看出实现质量的是原始数据：NVMe场景随机写，Opus 5.5做到了1,639 IOPS、Fable 5.1 CC做到1,892 IOPS，而GPT 5.6 Sol只有34 IOPS——同样是"写完交卷"，代码质量的差距直接体现在磁盘上。当然，内核参考行的ext4随机写是128,606 IOPS，比最好的AI实现高出一个数量级还多——但这一行是官方明确标注的"诊断参考"，且内核文件系统不经过FUSE转接，拿它喊"AI比人类慢15倍"属于误读。诚实的说法是：AI写的文件系统能用，离生产性能还有一整段路。GitHub
这份数据适合谁、不适合谁
正在用AI主力搓内核、引导器、系统工具的进阶玩家：这份表可以直接当选型参考——要"真实应用全过"选Opus 5.5方向，要性价比选GPT 6.1 Sol方向（$12.87拿89.59）；Flash档模型别放它在数据路径上，外围工具随意。
刚入坑的自制系统新手（手搓党、30天党）：这份bench对你当下没有直接意义——你选的是路线和教材，不是模型。但验收方式可以直接抄：你的OS启动之后，先别发截图，先做断电重挂测试。
在"AI行不行"和"必须手搓"之间吵架的围观党：数据给的结论两边都不讨好——头部几组的正确性得分在98分以上、距人类参考实现差4分左右，"AI写不了底层"和"AI已经毕业"都是过头话。
接下来盯什么
一是这个仓库会不会补测更多模型或复跑（每组一跑是最大的统计缺口，8月底建档、国庆期间还在更新，说明作者没打算停）；二是这类基准会不会从FUSE用户态推进到真内核环境——中断、调度、内存管理这些"拔电源测不到"的部分，目前还没有一份公开、防背题的答卷。
现场本身也还在滚动。就在这两天：10月12日，知乎专栏《用AI写了个x64操作系统，插上U盘就能启动笔记本》把HanOS放了上来——先写了约2.5万行"古法"代码，再让OpenCode+DeepSeek接手细活，作者自述主要工作是"提要求、看串口日志、在每个岔路口决定往哪走"；10月17日，自称纯手搓、不依赖Linux的HBOS也在B站和小红书开始流传开箱。注意它们和BenchFS回答的不是同一个问题：前者证明"能搓出来、能真机启动"，后者检验"拔电216次之后还站不站得住"。知乎小红书
自制系统这个圈子这两年最大的变化，就是"能不能写出来"的问题正在被AI快速抹平，而"怎么验收"的问题才刚刚浮出水面。这份还没几个人看的基准，值得第一批看到的人动手测一轮。
