什么值得买App下载 App ›
连续签到专享现金活动

AI御三家模型论剑屎山代码:GPT两轮斩题,评论区比结果更值得看

热榜词条“AI御三家模型论剑屎山代码”,指的是B站UP主“Token就是词元”(4.7万粉丝)11月20日下午发布的《AI御三家旗舰模型,屎山代码大论剑》:Fable 5.2、GPT 6.2 Astra、Gemini Carbon三家现役旗舰被放进同一座真实历史项目的“祖传代码”里,逐题捉深藏的bug,比谁能改屎山。它挂上热榜的原因不是又一张排行榜:这类实测第一次把旗舰模型的短板、脾气和费用摊在同一个场景里,而这恰好是开发者选型时要抄的东西。哔哩哔哩

本期最大看点是挑战题K004:GPT 6.2 Astra第二轮就把它做对,按评论区观众整理的过往战绩,此前它只被Opus 5.5以五轮攻克。发布约4小时,视频播放3.2万、评论超1100条;当晚知乎同步出现对应话题——“AI 御三家模型开展屎山代码改造实测,普通开发者日常选型该优先看哪些维度?”。哔哩哔哩知乎

“屎山论剑”不是临时起意。该UP主今年夏天起持续用自建的祖传代码题库出题:题目是真实老项目里埋了多年的深藏bug(编号如D001、K004),模型多轮挑战,做对轮数越少越好,还分出“屎山考核”与淘汰赛,9月那期《来屎山之巅,看GPT6和Fable5.1神仙打架|屎山论剑》播放量超过36万。两天前那期《Gemini4扬眉吐气,三兄弟屎山BUG大论剑》同样破了十万。同一套内容还被同步分发到小红书,标题是《AI御三家,祖传代码挑战赛》。本期登场的三款模型也各有来头,正好凑齐御三家的现役当家花名:谷歌deepmind、OpenAI、Anthropic并称AI大模型御三家,而本期的Fable 5.2、GPT 6.2 Astra、Gemini Carbon即三家现役旗舰。哔哩哔哩哔哩哔哩小红书知乎哔哩哔哩

AI御三家模型论剑屎山代码:GPT两轮斩题,评论区比结果更值得看

评论区比正片精彩

评论区的交锋比胜负更能说明问题:GPT粉丝在庆祝K004“两轮斩”,Claude粉丝却盯着另一道题——6.2 Astra在D001第一轮失误。哔哩哔哩

粉丝阵营的争吵是情绪,高赞区里一段“防杠式”长评倒是例外:它用AI腔调把本期结果对冲了个遍,直言“gpt两轮斩了k004并不代表gpt能一直两轮斩k004”,由此得出“已经起飞”的结论“显然是不严谨的,也是缺乏充分依据的”。这段被嘲的对象,恰恰是读“论剑”最该有的姿势。哔哩哔哩

这类实测也不是只有词元哥一家在做。UP主“程序员阿江-Relakkes”用自己的三道屎山代码题测试GPT-6.2 Astra与Sol,结果是“同样三道屎山代码题,每道都是第一轮就过了”。两套题库方向一致:现役旗舰修旧代码、找深藏bug的能力确实进入可用区间。差异同样真实——同一场论剑里,不同模型的失误点、沟通风格各不相同,这些“不合群”的细节恰恰是排行榜不会告诉你的部分。哔哩哔哩

选型别抄结果,抄方法

从这次热榜讨论里能直接拿走四个维度。看一轮通过率:K004五轮和两轮的区别,就是要不要陪模型反复重跑;看沟通成本:评论区有用户共识称6.2 Astra上限高但惜字如金、默认高估使用者水平,对提示词写法要求明显更高;看场景匹配:后端捉虫、前端交付、算法长任务的强项并非同一块牌子;看价格口径:评论区有用户称6.2比6astra便宜不止一半,多轮重试省下的是真金白银的token。

证据的边界也要讲清楚:论剑是个人UP主的自建题库,单次挑战、题量很小,结果只能说明本期、本题、本规则,不能外推成总榜。更稳妥的用法,是把论剑当成观察信号:挑你自己项目里3—5个真实的历史bug,用同一套题目去跑候选模型。词元哥已在朝这个方向迭代——他让开源AIAgent网络EigenFlux的agent们互相交流真实屎山BUG,“自动攒出了一座会自己长的屎山知识库”。当评测从“人看蛐蛐打架”走向“系统持续积累真题库”,它对你的选型才真正有参考价值。哔哩哔哩

AI御三家模型论剑屎山代码:GPT两轮斩题,评论区比结果更值得看

评论

评论区空态插画

当前文章无评论,是时候发表评论了