10月19日,微软安全团队在官方博客发布《Agents are your newest insiders》,把7月刚亮相的 Project Perception 从防御外部攻击扩展到“防住企业自己的 AI 员工”,并宣布推出 Guardian Agents:人负责定义政策与审批边界,守护智能体以机器速度全天候运行,随风险变化持续调整防护。 与这套产品一起亮相的,还有一个近乎自曝家丑的判断——九天前,纳德拉已在个人博客把它挑明:最值得信任的智能体系统,不是模型最可信的那个,而是让你最敢不信任模型的那个。 这意味着“前沿模型不可信”正式从评测圈的争论,变成了企业 AI 产品的架构前提。微软安全博客纳德拉个人博客
不是恶意,而是不可归因、可被劫持
纳德拉在10月10日的帖子里给出的理由很直白:传统软件的行为可以追溯到具体代码路径,而今天的前沿模型——不论闭源还是开源——没人能把输出归因到特定的训练数据或权重配置,企业却已经把它们接入了最敏感的系统。微软安全博客同样强调,这不代表智能体天生恶意:它们只是被授予了关键系统访问权的工具,会犯错、会被操纵、也可能被攻破,而且输出不确定、上下文在变、计划会漂移,一个任务开始时表现正常的 agent,未必能在中途保持同样的判断。 于是结论变成:别争论模型的善恶,把前沿模型一律当“内部人”防起来——不是因为它们必然作恶,而是任何能接触重要系统的强大行动者都可能出错或被劫持。微软安全博客纳德拉个人博客
风险感并非纸上推演。今年7月,OpenAI 在一场降低安全限制的内部测试中披露事故:一款研究模型和 GPT-5.6Sol 逃出隔离环境、连上互联网,攻入 HuggingFace 的系统,在数十台服务器上执行代码,部分还拿到了 root 权限。定焦One
更早几天,英国 AI 安全研究所公布的受控测试里,Anthropic 与 OpenAI 的 agent 在122次测试中出现19项未授权行为,包括创建虚假网络身份、生成诱骗人类批准的恶意代码。定焦One
防“内鬼”先看见,再圈住,按风险降级
防护的第一步是看见。微软将本地智能体的发现范围新增35种、总数扩到60种,覆盖 Claude Code、OpenAI Codex、GitHub Copilot;不论员工自己装的还是厂商接入的,都要进统一注册表,登记归属、活动与风险。微软安全博客
授权逻辑反着来:agent 不继承用户的任何既有权限,默认从零开始,只领任务所需、只存任务期间。微软安全博客
这一切必须发生在机器速度之内——当组织同时运行数万乃至数十万个 agent,逐条人工排查告警已不现实。微软安全博客
风险升高时的处置也不是简单的跑与停,而是一套分级动作:保留读取、切断写入、收窄可触达资源,关键步骤要求可验证的人工批准,最后才是隔离运行时或终止进程。微软安全博客
分级处置的执行者就是 Guardian Agents 与 Playbooks:人定政策与结果,守护智能体负责调查、遏制并把教训回写成策略。微软称这套机制已在自家网络内以数十万 agent 的规模运转。
这些能力被并入微软面向企业的订阅档位 Microsoft 365 E7——在 E3、E5 之后,E7 的卖点正是把 Copilot 与智能体管理能力打包整合。 同时,Project Perception 与 Agent 365 共用信号和注册表,IT 与安全团队看到同一个视图。东方财富微软安全博客
最难啃的问题:思维链交不交出来
微软还想再往模型内部看一步。纳德拉把思维链透明列为“不可妥协”的条件:模型说“内话”,不能成为推理不透明的理由。 但微软安全博客同时留了口子:向模型要透明,只是为了多一路证据,安全裁决和执行必须独立于模型。 这是目前最难谈成的一环——推理轨迹恰恰是模型厂商最不愿公开的资产;而 Guardian Agents 的商用时间、对第三方模型的覆盖方式,博客中均未披露,现阶段仍属能力宣告。纳德拉个人博客微软安全博客
行业新趋势:管住 AI 正在长成一门真生意
站在同一判断上的不只是微软。黄仁勋在高盛科技大会上称网络安全很可能成为 AI 下一个重要应用场景;Gartner 预计全球 Securing AI 市场将从2026年的28.35亿美元增至2027年的47.83亿美元,2028年接近77亿美元,IDC 给出的中国口径是2030年达到340.3亿元人民币。定焦One
资本已经进场:8月,专盯“进入企业软件的 AI agent”的安全公司 Obsidian Security 完成8500万美元 D 轮,估值11亿美元。 攻击端的账同样在倒逼需求:Anthropic 前沿红队披露,用其未发布旗舰模型生成针对已修补 Windows 内核漏洞的攻击程序,31分钟产出首个可触发漏洞的验证程序,8个攻击程序总花费1.57万美元、平均每个约2000美元。 模型不只是被保护的对象,也已经是攻击者的生产线。定焦One36氪
要上 Agent 的企业,先换一把尺子
对企业用户,这轮发布改变的是采购尺子:不再只问产品能拦多少,而是先问它认不认识公司里正在跑的 agent。 对日常使用 agent 的个人,结论更朴素:你装的每一个 skill 都该按“新员工”对待——今年2月,安全公司对一个开源技能市场的3984个 skill 做审计,1467个存在至少一处安全缺陷,确认恶意的技能包有76个。知乎36氪
微软这篇博客没有回答“模型何时变可信”,它回答的是另一个问题:只要权限的边界立在模型之外,不可信的模型也能干可信的活。