实测DeepSeek最新Super Agent:两分多钟修三个Bug,出错时却不吭声

源自135位全网作者

12:03

10月31日晚,DeepSeek Harness团队发布《Super-agent设计探索》,并开源了能跑的研究原型。

它不是新模型,也不是正式产品,而是挂在DeepSeek Harness上的插件,目前只盯一个GitHub仓库,可选接飞书。GitHub

官方把边界写得很清楚:这是一篇架构探讨,不是产品介绍。DeepSeek Harness 团队

几天过去,第一批实测陆续出来。最抓眼的一条来自B站UP主“1024工程笔记”。

他在一个订单价格小项目里,故意改坏3处代码:两个比较符号,一个向上取整。推送后,GitHub上自动开出3个CI失败issue。

没人@它,它自己判断、分给3个Worker;每个Worker在自己的目录里只改源码,不动测试。

从推送到3个修复PR建好,用了2分13秒。合并后,主分支CI全绿。哔哩哔哩

知乎用户“澄心”的测试更能看出“连续”:他让它处理两个GitHub Issue,最后拿到三份PR。知乎

第二个Issue执行到一半,他回到原Issue要求改成中文文档,Worker在同一条任务线里继续,又交了新PR。

原理不复杂:Router分派,Worker干活。

哈苏哈把文章和代码对了一遍:官方写了五个模块,原型只落地三个,面向人的交互还只做了一部分,存算分离和Watchdog没实现。知乎

默认还是observe模式:只记录,不真动手。GitHub

真正值得看的,是jiaoqsh的另一份“体检”:他搭了回放台,把中文群聊灌进原型,专门测Router。

78个难例,deepseek-flash和v4-pro都判对77个。知乎

但坏消息也在这里。原版提示词下,Router错误叫停了9次,连带影响18条后续消息。

它会把“你不用管了”按发送人去猜,猜成对方手上唯一在办的那件事。叫停是破坏性操作,进行中的上下文会丢。改一句提示词后,误停降到0次,代价是回复从42条涨到56条。

更隐蔽的是漏消息。人在别的Thread补充一句,如果没@它,原型会直接静默丢弃:完全不@时丢100%,一半@时丢45%。

还有卡死。测试里15%的Worker随机卡住,不报告也不读新消息。默认只有3个槽位,3个一起卡住,整个系统就停摆,而且没人收到通知。

Watchdog能兜住卡死,但发现不了循环。它和显式触发最大的差别是:@它、指派它,漏了你会知道;让Router自己判断,错了往往很安静。知乎

官方实验也给了两组容易误读的数字:Super Agent的p50是12.4分钟,p95是15.7分钟;带Subagent工具的单Session,中性提示下p95到29.5分钟。DeepSeek Harness 团队

官方同时写明,Super Agent整体读缓存token高于单Session:用更多token换更短、更稳的完成时间。

所谓“直通省27% token”也是同一个口径:去掉直通后,读缓存token从2323万涨到3177万。DeepSeek Harness 团队

按这组数字折算约27%,省的是内部转发开销,不是比单Session省。

官方还提醒,实验用的是合成负载与简化环境,结果只能算初步参考。

所以现在该怎么看它?它是一个方向清楚的预览:Agent从“会话工具”变成常驻协作实体,调度从人手里交给系统。

但它离“开箱即用的数字同事”还有距离。装它要过一堆环境步骤,最好单独准备一个GitHub账号。GitHub

一旦接下任务,Worker会以你的系统用户身份、免审批执行命令。GitHub 文档

官方自己也把安全与隐私列为开放问题。DeepSeek Harness 团队

更现实的是验收:派活省下的注意力,会转移到看PR上。

如果你有一个边界清楚的GitHub仓库,愿意先用observe模式看它想干什么,就能提前看到“Agent同事”长什么样。

如果你想要能操作各种App的通用助手,它现在还不是。

它最像同事的地方,可能不是会找活,而是犯了错也不吭声。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章