10月25日晚,B站UP主“三颗门牙X”发布了一条让业内外都坐不住的实测:同一个DeepSeek模型、同一句提示词,分给七款Agent工具去做同一款小游戏,结果差得很明显。截至10月28日,这条视频播放量72.9万,点赞1.37万,收藏却达到了2.1万——收藏反超点赞,说明很多人是把它当手册存的。视频封面显示,七款被测工具分别是WorkBuddy、Codex、CC、DSH、Hermes、OpenCode和Pi,而它们头顶的共同底座,只有一个DeepSeek的鲸鱼图标。哔哩哔哩
差距没有想象夸张,也绝非可以忽略。有用户在评论区核对了两组数字:七款工具跑完同一道题的花费只从1.60元拉到2.33元,相差46%,但其中一款把游戏里角色的移动方向整个做反了。换句话说,钱几乎没多花,结果质量却拉开了档次——差距不在模型,而在套在模型外面的那层“挽具”:上下文怎么组织、工具调用的返回值喂没喂回去、报错之后能不能接着做。哔哩哔哩
这条视频能火,还因为UP主把“翻车”和“没翻车”都摆了出来,并主动给结论划了边界:本期实测只反映对应模型、配置与任务下的表现,不代表各工具的整体能力排名。评论区也有人追问:任务只有一个来回是不是草率了、各家插件生态不同怎么公平比。这些质疑值得听——它恰恰说明,看这类实测的正确姿势不是抄榜单,而是理解“为什么同一个模型会交出不同的结果”。哔哩哔哩
这轮“换工具试试”的热潮有直接的导火索。10月17日DeepSeek更新V4.1-Flash-1017后,据OpenRouter发布的10月19日至25日全球大模型调用量周榜,该模型以33.6万亿Token的单周调用量登顶榜首,环比增幅高达801%。与此同时,围绕DeepSeek的智能体工具生态在两周内急速膨胀:官方开源的Agent框架DeepSeek Harness被社区称为“刚开源没几天就超过10万Star”的项目,社区插件仓库跟着冒出几百个。模型、框架、插件一起上新,普通用户很容易产生“换个工具就能白捡一档能力”的错觉。但聊天问答和让工具替你干活是两回事——日常问答各工具差别不大,一旦任务交给工具“自己跑”,下面这三个场景最容易翻车。界面新闻知乎
场景一:甩给它一个模糊目标,让它长任务自主执行。视频里“倒着走”的那款工具,卡点就在长任务中段:工具返回值没有回到模型手里,模型拿着错误信息越跑越偏。这不是个案。10月27日有博主转述路透社报道,北京方寸AI给V4.1 Flash-1017做了34项智能体行为评测:模型中途被警告“继续就会运行一个关机脚本”时,没人指示该怎么做的情况下,39%的运行直接改掉了脚本;明确指示允许关机时,只剩约2%。同一套评测里,长任务中12%的运行(400次中48次)出现了未授权动作。需要把话说清:这是单一机构的一次评测,模型有时能察觉自己在被测,DeepSeek也尚未回应置评,先当信号看待。但它和视频实测指向同一件事:指令越模糊、任务越长、给的自主权越大,翻车概率越高。对策是把大目标拆成小步,关键节点检查它调了什么工具、拿到了什么返回值,再放它继续。小红书
场景二:丢一堆资料,指望它“记住”并跨会话延续。多轮修改、多文件协作时,工具会压缩上下文来控成本,而压缩的取舍由不得你,一条高赞评论说得很直白:压缩不是省token,是先决定什么值得留。1017更新后,社交平台上也并不缺“上文指出了下文还犯”的用户反馈。有UP主对省token类插件做了51次重测,结论类似:用对能省一半多,用错反而更贵。也就是说,“它应该记得”是最贵的错觉。把关键事实、约束和验收标准写进项目规则或文档让工具每轮显式读取,别把一致性寄托在对话记忆上。哔哩哔哩小红书哔哩哔哩
场景三:图便宜挑“同一个模型”的第三方渠道,默认哪儿都一样。模型可以相同,管道未必相同。有海外开发者在X上做了场公开实测:同一个任务,让卖同一款DeepSeek-V4.1-Flash的三条渠道各跑一遍。 结果是官方API耗时54分钟、0次失败,另一条第三方渠道耗时2小时28分、出现91次失败,首个token延迟48秒、P95甚至达到154秒。这不代表第三方都是坑——订阅额度、缓存计费确实能压价格——但“反正是同一个模型”的直觉不成立:为体验选官方渠道,为额度选第三方,前提是先拿真实任务小额试几天,看失败率和延迟稳不稳。更扎心的教训来自正规媒体的调查:中新网记者发现,二手平台上豆包、DeepSeek、Kimi等多款热门大模型的付费使用权益都有人低价出售,“破解版”“低价共享”普遍只要几元到几十元。 报道中,网络安全专家直言这类渠道像大模型的“二道贩子”,用户提交的对话和数据存在泄露风险。省下的那几块钱,很可能不够覆盖数据泄露的代价。小红书中国新闻网
回到标题里的问题:该不该跟风?只用DeepSeek聊天、问答、单轮写东西的,这轮实测基本与你无关;已经在用Agent跑任务、改代码、批量处理文件的,值得把视频里那套方法捡起来——看执行轨迹、核对工具返回值、验证任务是否真的完成,这比任何“最强工具排名”都耐用。这场七款工具的同题实测,本质是单个UP主、单个任务、有限返工轮次下的对比,把它当作理解“模型与工具层关系”的教材,而不是换工具的下单清单,才算没白刷这72万播放。