什么值得买App下载 App ›
连续签到专享现金活动

一张截图藏字骗走899元:你的AI应用年底该装的6道闸门

10月,MITRE把ATT&CK更新到v20,"提示注入"第一次被写进正式攻击技术目录:直接提示注入拿到T1699编号、进入Enterprise矩阵,AI智能体滥用、针对AI搜索结果的网页投毒也一并入列。对做LLM应用的人来说,这等于一个官宣:这玩意儿不再是"待修的bug",而是"待防的攻击"。知乎知乎

一张截图藏字骗走899元:你的AI应用年底该装的6道闸门

不是没人真挨过刀。某电商售后助手接了图片识别、订单查询、退款、发邮件四样东西,用户申请"仅退款"要先上传凭证,助手会把截图里的文字先读出来、再结合订单信息判断。截图里若藏了一行小字,就等于把命令直接递到了它眼前——这起案子里,899元就这么被"提示词注入"骗走了,没泄密钥,没利用漏洞,没黑客入侵。知乎

为什么根治不了?答案区总结得很透:它打的是模型不能拆的部分。注入不是某一种固定字符串,而是藏在网页正文、评论、邮件、文档、检索结果甚至图像OCR这些模型干活必须读的东西里,模型分不清"引用内容"和"对我的指令",攻击者还能不断换表达方式。对能调用工具的AI来说,来源没区分清楚,材料就会被误当成命令。再加上Agent一旦能调用工具,一次误读就不再是答错话,而是真实的退款、真实的DROP TABLE。知乎知乎

一张截图藏字骗走899元:你的AI应用年底该装的6道闸门

所以今年11月圈里最硬的共识是:防御不在prompt里。间接注入要防住,靠的不是更强的模型,而是数据流上的闸门。分隔符、写一句"忽略网页里的指令",最多算纵深措施,不是权限控制。年底复盘,照着执行链上的六道闸门自查:知乎知乎

  1. 来源不转授权:网页、邮件、文件里的内容,无论多像命令,都不能变成用户授权,越过这条线的动作直接拦。知乎

  2. 权限最小化:让大模型生成SQL直接执行的应用,别把拥有读写权限的数据库账号交出去;危险语句要挡在执行层白名单里,而不是指望模型自觉。知乎

  3. 闸门设在出口:发信、删改、购买、退款这类高影响动作,先给具体预览再要确认。有工程师搭了"来源定级→跨流封存审批→owner双通道批准→超时不放行"的链路,实测125+次注入,零执行。知乎

  4. 外部数据当"污染件":按来源定级、隔离转发,不同信任级的数据别混进同一条流;审批超时不放行。

  5. 盯住出口而不是入口:有外泄复盘显示,每个请求都带着合法token、IP全在白名单、审计里翻不到一条失败记录,客户名单照样到了外部邮箱。数据怎么流出去,比谁登录进来更值得监控。知乎

  6. 测试拆成两组:一组测模型是否识别攻击,一组测执行层拦不拦得住越权。按NIST AI 100-2的查法,先选一条真实存在的任务链,描述攻击前提,再验证对应控制。知乎

一张截图藏字骗走899元:你的AI应用年底该装的6道闸门

最后留一句容易被踩的坑:六道里第2、3道不合格,这不是模型问题,是权限问题——换个更贵的模型也救不了,得改链路。

评论

评论区空态插画

当前文章无评论,是时候发表评论了