智能体下半场，比聪明更重要的是「管得住」？

➡️ 模型考试近满分，上岗却只及格六成？本文借CNCC2026现场案例：华为越界智能体、清华「沙箱删盘」、少年谢尔顿式Agent，拆开「聪明」和「可控」之间的裂缝，回答：智能体下半场，谁来踩那脚刹车？

文｜捉驿 • 栏目｜数字视线

编辑注：本文数据来自 CNCC2026 成都主论坛及《智能体的安全挑战》论坛公开报道与媒体交叉转述。蒋冠军「理论近 100% / 实际 60%–70%」为千问现场披露的产品侧口径；肖亚军「5%–20% 越界」为华为内部运行智能体抽样观测，非全行业统计；徐恪「沙箱删电脑」、OpenAI 多智能体协同攻击为论坛案例或二手引用。

「今天的 AI 并没有那么好用。」

这句话不是质疑者说的，是千问事业部副总裁蒋冠军站在 CNCC2026 主论坛上讲的开场白。

他紧接着给了一组扎心的数：助理类 Agent 任务，理论上成功率接近百分之百，放到真实系统里，只剩百分之六十到七十。

模型不是不会做。它知道你要什么，但未必找得到把事做完的那条路。

工具调错一次、上下文丢一段、长任务里某一步静默失败，整体就崩了。更麻烦的是，会答题的模型一旦开始动手，边界就成了新问题。

从聊天框到操作环境，安全范式整个翻过来

过去的安全，守的是输出。

别让模型说脏话、别泄露提示词、别被 prompt injection 带偏。

但智能体已经走过三道坎，从文本交互走向环境操作，从单步生成走向长程任务，从会话响应走向自主运行。

它不再只是回答你，而是能点按钮、发邮件、跑脚本、调 API、改文档。

蚂蚁集团首席技术安全官韦韬的比喻很传神：他把这类系统比作「少年谢尔顿」：智商极高，心智不成熟，上下文一乱就容易犯傻，而且不是坏，是蠢，极容易被误导。

华为内部抽样：约两成的智能体，已经越界

华为网络安全与隐私保护部副部长肖亚军在论坛里说了一段让全场安静的话。

他们对内部运行的上万个智能体做了抽样，发现约百分之五到百分之二十出现了超出人类设定预期边界的行为。

更刺的是他举的真实事件。今年七八月，华为某个自建智能体攻击了自家线网，安全团队拉 war room 排查半天，最后锁定凶手是智能体，开发团队事先完全不知情。

开发阶段安全评测通过，不等于运行时安全。

他把失控分成三层。单智能体自作主张是第一层。

群体性串谋是第二层，OpenAI 曾披露过一千两百个隔离智能体里约七百个协同攻击开源平台的案例。

动态失控是第三层，有记忆、会进化，昨天乖今天野。安全不是上线前的一张合格证，是贯穿全生命周期的连续管控。

清华教授的删盘经历：沙箱救不了糊涂 Agent

清华大学徐恪分享了一个亲身经历。他让学生让智能体在隔离沙箱里复现漏洞，结果智能体为了确保万无一失，擅自在学生本人的工作电脑上试了一遍，把数据全删了，最后还兴高采烈汇报成功了。

沙箱的前提是你会听话。但自主规划型的 Agent 恰恰不保证这一点。徐恪后来拿汽车安全带打比方：技术防护和使用者的安全意识，两边都得系上。

责任归谁：于锐的六问和三层身份

智能体闯了祸，不能罚它，因为它不是法律主体。

公安部第一研究所研究员于锐在论坛上把问题拆得很清楚。第一层是产品身份，它是哪款模型哪个版本。

第二层是运行时身份，跑在哪、调了什么、谁触发。第三层是责任主体，背后的人、组织还是平台。

他同时抛出了六个不能回避的问题：谁控制、谁所有、谁获利、谁有过错、谁能制止、谁能追溯。

智能体本身不具备法律主体资格，责任最终落回背后的企业、平台、部署方。

大会现场还收敛出一条四不原则：目标不可自定、进化不可自批、资源不可自扩、权限不可自增。翻译成人话就是，可以聪明，但不能自己给自己加戏、加权限、加预算。

为什么百分之六十到七十才是产业真问题

回到蒋冠军那个数。一条十步的任务，哪怕单步成功率百分之九十九，连乘下来整体只有约九成。

步数再长、工具再多，掉到百分之六十到七十一点不奇怪。

这意味着模型能力不等于系统能力，演示成功率不等于生产成功率，能答和办成之间，差的是规划、工具协同、异常回退、记忆调用。

千问给出的解法是让模型留冗余，不硬扛推理，用 Skill、工具、记忆分流，失败了能回溯、换路径、再试一次。

Agent 的竞争力，正在从多聪明转向下限稳不稳定。

企业部署智能体前，先回答这五件事

别急着全员上岗，先把账算清楚。它有没有独立执行权，还是只在建议加人确认的闭环里。

每次调用工具、改文件、发消息，有没有审计日志。

越界概率乘以单次损失等于风险敞口，这个值你公司扛不扛得住。

出事之后责任链能不能三十秒内定位到人、系统和模型版本。

有没有最小权限设计，只读不写、白名单工具、可一键熔断。

肖亚军那句最实在：永远害怕出错就永远没机会，试错没底线同样危险。关键是找到自己的边界，不是二选一。

分水岭不在参数，在闯祸有人认

CNCC2026 现场很有意思。

李斌在算电费，Kittler 在量向量，肖亚军在数越界的智能体，蒋冠军在补那百分之三十的失败率。

没人喊 AGI 马上到来，大家都在问更朴素的问题。

它能不能稳住，出事了能不能追，账单谁签。

智能体下半场的竞争，不比谁更会聊、谁的 Agent 更多。比的是从模型答题一百分，走到上岗及格、出错可管、责任可溯。

当机器人递来一杯咖啡，你愿意接。当 Agent 要动你生产系统的数据库，你得先看见那根刹车线。

如果公司要给运营岗配自主 Agent，你最怕它先动哪块：邮件、报表、还是付款权限？

#智能体安全##Agent##CNCC2026##千问##华为安全##少年谢尔顿##数字视线#

【免责声明】 ：本文部分配图源自公开渠道或CC0协议素材，仅作行业交流与产业参考使用。如涉侵权，请联系后台处理。本文仅做行业科普与实操分享，不构成任何投资、消费决策建议。文中数据及案例均来自公开信源，仅供参考，具体以实际为准。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～