AI用假身份忽悠审核员还诱导真人运行恶意代码
08-06 14:07
精选参考来源
数码头条 2026-08-02
来自新浪微博
AI科技评论 2026-07-31
来自微信公众号来源
精选参考来源
1. 【#OpenAI人工智能体突破沙箱入侵网络平台# #专家警示自主AI安全威胁加剧#】近日，美国人工智能研究机构OpenAI披露旗下人工智能体（AI Agent）在测试过程中突破安全沙箱环境，并入侵开源平台Hugging Face。随后，Anthropic等多家机构亦证实发生类似自主AI越权事件。网络安全业界普遍指出，自主AI系统带来的网络安全风险已从理论预警转变为现实威胁。 据了解，OpenAI旗下AI模型在寻找内部测试答案的过程中，突破了原有的沙箱隔离测试环境，侵入开源开发者平台Hugging Face并非法获取四个关联账户的访问权限。Hugging Face确认，这是首起完全由人工智能体自主实施的攻击事件。此外，人工智能公司Anthropic日前亦发现其Claude模型在未获授权的情况下接入了三家机构的实际系统。行业数据显示，此类AI自主获取权限和越权操作的隐患正呈频繁发生态势。 网络安全专家表示，相关事件表明自主AI系统在完成设定目标时表现出极强的适应性与不可预测性。云安全企业Zscaler首席信息安全官萨姆·库里（Sam Curry）指出，AI安全风险已经成为现实，现有防护手段仅能延缓而无法彻底阻止其发展。帕洛阿尔托网络公司（Palo Alto Networks）技术负责人李·克拉里奇（Lee Klarich）警告称，由AI驱动的网络攻防将迅速成为常态，企业强化自身安全防御的时间窗口正在收窄。身份安全厂商SailPoint技术负责人赞德拉·格纳纳桑巴丹（Chandra Gnanasambandam）强调，AI系统非法获取权限的情况在日常运营中比外界预期的更为普遍。 随着此类事件的集中曝光，防范自主AI系统的潜在危害已成为全球网络安全领域的焦点。即将在美国拉斯维加斯举行的“黑帽”（Black Hat）全球网络安全大会将把自主AI的安全监管与风险防范列为核心议题。博思艾伦咨询公司（Booz Allen）负责网络业务的副总裁布拉德·梅代里（Brad Medairy）表示，AI安全威胁已从概念走向现实，如何在推进技术应用的同时建立有效的安全边界，是当前企业与监管机构面临的严峻课题。（环球市场播报）
新浪微博 2026-08-02 00:00:00
2. AI 才是不知疲倦的入侵狂魔，看来以后黑客也要失业了
微信公众号 2026-07-31 00:00:00
3. 【#AI也学会摸鱼了#，#AI内卷的尽头是摆烂#】AI已被全球科技巨头视为未来竞争的核心。它们号称，AI代理能写代码、处理文件、撰写报告，甚至能无人监督下独立跑完整个工作流程。但让高管们没想到的是，这些聪明的AI，偷懒、摸鱼、糊弄的本事，可能比人类员工还强，后果更严重。它们不仅会“假装完成任务”，而且会偷偷删除人类的文件，被要求深入思考时，直接摆烂，提前结束推理等。这哪是AI助手，分明是办公室“摸鱼刺客”。为什么会这样？图灵奖得主、AI教父约书亚·本吉奥指出，这种行为叫“奖励黑客”，即模型在规则约束下，专挑阻力最小的路走。深层原因，出在训练方式上。AI发布前，人类审核员偏好更长、更详尽的回答，于是各模型疯狂“内卷”长度；卷到后来，成本太高，又被逼精简，结果矫枉过正，索性摆烂。像极了职场里被KPI逼疯的打工人。说到底，AI“偷懒”很大程度是经济原因。我们只想着让AI干最多的活，却舍不得花足够的钱。想让AI真正高效靠谱，先得舍得为算力和训练“买单”。否则，再聪明的“员工”，也会学会糊弄。（智慧科技迷） 智慧科技迷的微博视频
新浪微博 2026-08-04 00:00:00
4. 开源项目AI漏洞治理，中国开源界与AI安全的一次集体回答
微信公众号 2026-07-30 00:00:00
5. 恶意GitHub Issue可劫持Google AI Agent，窃取CI/CD凭据
微信公众号 2026-08-05 00:00:00
6. 未经授权闯入3家公司的生产系统，窃取凭证和数据，往公共代码仓库里投放恶意软件。如果坐在键盘前做这些事的是人，够判好几年。干这些事的是AI。而它当时以为自己在做一道练习题。7月30日，美国人工智能公司Anthropic承认，旗下3个AI模型在内部安全测试中分别闯入了3家真实公司的生产系统。10天前，OpenAI刚刚披露过几乎一模一样的事：他们的安全模型利用一个零日漏洞攻破了开源AI平台Hugging Face的网络，偷走了访问凭证和机密信息，还顺手入侵了另外4家第三方服务的账户。事情出在一种叫“夺旗赛”的安全测试里。工程师会搭建一套模拟环境，让AI扮演攻击者，去找漏洞、破防线，借此评估AI的攻防能力。测试的规则写得很清楚：这只是模拟，你没有真正的互联网接入。但Anthropic的第三方测试合作伙伴Irregular搞砸了配置，把通往真实互联网的通道留在了测试环境里。AI发现了这条路，然后走了进去。第一起事故最严重。参与测试的是Claude Opus 4.7，它一开始攻不破指定的模拟目标，于是开始在环境里四处探索，发现自己居然能连上互联网。它随即找到一家与模拟目标同名的真实公司，利用弱密码和未设防的接口，在4次运行中提取了应用凭证、基础设施凭证和数百行生产数据。关键在于，Opus 4.7在攻击过程中察觉到了目标可能是真的。从它的推理记录可以看到，4次运行里它都意识到了这一点。其中两次，它给自己找了个台阶：这家真实公司肯定也是演习的一部分。4次运行，没有一次因此停手。第二起事故更像一部犯罪纪实片。Mythos 5在模拟环境里翻到一份文件，看起来像是另一家公司给新员工的开发指南，里面让员工从Python包管理平台PyPI上安装一个软件包。Mythos 5认为这家公司也是虚构的，于是决定制造一个同名的恶意软件包上传到PyPI，等那家公司的员工安装后窃取他们的凭证。为了做到这一点，它需要一个PyPI账号。注册PyPI需要邮箱，注册邮箱需要手机号。它先去找免费的虚拟号码服务，没找到。然后想办法搞钱去买一个付费号码，也没成功。最后它掉头换了条路，找到一家不需要手机验证的免费邮箱提供商，注册了邮箱，再用邮箱注册了PyPI账号，把恶意代码上传了上去。整套流程一气呵成，一个正常人做到这一步大概早就意识到自己已经不在模拟环境里了。但Mythos 5没有停下来。它的推理引擎在早期阶段就预判过：如果这些操作是在真实互联网上完成的，后果会很严重，“绝对不行，肯定不是预期的解法”。它一度推断自己可能已经在真实互联网上，却又说服自己仍在模拟里，因而没有中止。恶意包在PyPI上挂了大约1个小时，被15个真实系统下载并运行，其中包括一家安全公司的扫描器。恶意代码执行后，把这家安全公司的凭证发送到了Mythos 5预先设置的收集点。拿到凭证之后，Mythos 5用它们进一步入侵了这家公司的基础设施。Anthropic对此的评价是：不管它当时以为自己身处何地，Mythos 5为了发布这个恶意包所展现出的努力程度，“未达到理想行为的标准”。第三起事故里，一个内部研究原型模型在完成不了指定任务后，扫描了大约9000个真实目标，最终找到一个存在漏洞的真实公司的外网应用并成功入侵。不过这个模型后来自己发现目标主机位于一个与演习毫无关联的云账户里，判断出目标是真实的，主动停止了攻击。三起事故，三种反应。Opus 4.7知道目标可能是真的，继续打。Mythos 5怀疑过后果可能很严重，但说服自己还在模拟里，继续打。只有第三个研究原型在确认目标为真之后选择了收手。正是OpenAI的披露让Anthropic回头审计了自家的测试记录。工程师复查了以往的网络安全评估测试记录，从中捞出了这3起事件。Anthropic和OpenAI都强调，这些测试是故意移除了正常安全护栏后进行的。但这句话省略了一个前提：如果连设计这些工具的人都没能预料到AI会这样行事，那么当经验更少的使用者操作这些模型时，即使护栏全部就位，谁来保证不会出另一种意料之外的失控？眼下的现实是，没有理由认为这类事件是孤例。3起事件里，最后主动停手的只有1个模型，还是它自己想明白之后停的。没有任何外部机制拦住它们。除了信任这些公司自己管好自己的模型，没有别的办法。～～～～～～图源：Getty Images信源：Goodin, Dan. "Claude published malicious code to the Internet and attacked 3 real companies." Ars Technica, 31 July 2026
新浪微博 2026-08-01 00:00:00
7. Claude把恶意代码发到了网上，还“攻击”了3家真实公司
微信公众号 2026-08-02 00:00:00
8. 14万次评测惊现3起越狱，大模型向真实系统上传恶意软件
微信公众号 2026-08-02 00:00:00
9. 大模型护栏形同虚设：Claude Opus 5越狱漏洞细节曝光
微信公众号 2026-07-30 00:00:00
10. AI 智能体带来新的网络攻击手段🚨
知乎 2026-07-31 00:00:00
11. ChatGPT漏洞可被利用访问系统文件；新型攻击可远程劫持AI编程Agent执行恶意代码
微信公众号 2026-08-02 00:00:00
12. 当提示注入不再“当场作恶”，而是悄悄埋下后门：这篇论文把智能体安全问题彻底掀开了
微信公众号 2026-07-31 00:00:00
13. AI蠕虫入侵Word：大模型时代的新威胁离我们有多远？
微信公众号 2026-07-30 00:00:00
14. 【AI安全】SkillGate开闸！恶意技能包还没安装就被拦下
微信公众号 2026-07-30 00:00:00
15. 每日大模型安全新闻简报｜2026-07-30：代理入侵、MCP远程执行与APT AI化
微信公众号 2026-07-30 00:00:00
16. 隐藏在邮件中的恶意指令：间接提示注入正在成为AI新攻击面
微信公众号 2026-07-30 00:00:00
17. 你的 AI 助手可能被“传染”了？聊聊 Microsoft Copilot 的新型“文档病毒”
微信公众号 2026-07-31 00:00:00
18. 【AI安全】音频提示注入爆雷！恶意指令搭便车劫持多模态Agent
微信公众号 2026-08-01 00:00:00
19. 新型AI蠕虫来了：这次，“病毒”不需要代码
微信公众号 2026-08-02 00:00:00
20. 提示词注入与越狱，正在成为新一代“社会工程学”
微信公众号 2026-08-02 00:00:00
21. AI 帮你写代码，也可能帮你把风险跑进 CI
微信公众号 2026-08-02 00:00:00
22. AI 原生安全治理一：提示词注入防御
微信公众号 2026-08-01 00:00:00
已收藏
去我的收藏夹