前沿AI安全治理报告发布:普通用户上网的保护,多了这四层

源自172位全网作者

21:09

2026年11月3日,2026年世界互联网大会乌镇峰会期间,世界互联网大会发布了《前沿人工智能安全与治理2026:风险认知与协同治理》。中国新闻网微博

这份62页的报告不是"发布当天就生效"的法规,但它把AI从"回答问题"走向"代替干活"之后,最影响普通人上网生活的风险摆上了台面,并为四层保护给出治理蓝图:AI生成内容的标识更全、更可核验,高风险AI系统上线前必须过测试并留有刹车,AI智能体出了事按"实际控制能力"追责,新的线上骗术和漏洞跨平台互通拦截。四层里有一层依托的现行规则已经生效,其余三层是报告推动建立的机制,落地节奏取决于各方执行。

报告最大的变化:风险的"尺子"从模型换成了系统

过去谈AI安全,多停留在模型层面:幻觉、偏见、说错话。这份报告的基调判断更进一步,安全治理正在从管模型本身,转向管"模型+工具+权限+环境"这套系统,治理方式也要从原则性要求走向可评测、可核验、可追责。大模型连接数据库、业务系统和外部软件之后,一个判断失误就可能顺着业务流程被放大。报告据此把风险归为五类:滥用与犯罪、信息完整性、关键系统、社会认知与结构、灾难性与生存性,其中前两类离普通人的日常最近。知乎

AI让诈骗、身份冒充、网络攻击的技术门槛更低,还可能自动化、规模化。报告特别点名了利用AI生成语音冒充政府高级官员的恶意信息活动,以及利用深度伪造实施欺诈的风险。信息完整性风险则更隐蔽:虚假内容能低成本生成、跨平台反复传播时,被侵蚀的是公众对"所见内容是否真实"的整体信任,报告就以爱尔兰总统选举前深度伪造视频谎称候选人退选的事件为例。知乎

第一层保护:AI内容标识已经生效,并要从"看得见"走向"验得准"

先讲已经生效的。国家网信办等四部门发布的《人工智能生成合成内容标识办法》自2025年9月1日起施行,标识分成两层:一层是用户能直接看到的显式标识,比如文字、角标、语音提示,另一层是写入文件元数据的隐式标识。也就是说,这条短视频、这段语音是不是AI做的,用户有权知道,平台有义务标出来。执法也在跟进:"清朗·整治AI技术滥用"专项行动自2025年4月启动,中央网信办聚焦AI换脸拟声侵犯公众权益、AI内容标识缺失误导公众等乱象,已处置3700余个滥用AI技术的账号。今年9月,专项行动第二阶段又通报了利用AI假冒仿冒公众人物、AI"魔改"经典等一批典型案例。知乎央视新闻人民日报

报告要补的是下一步:从"有标识"走向"可核验"。它推动安全承诺协同核验,要求企业从自我声明走向外部可验证,评测对象也不能只停留在基础模型,还要延伸到实际运行系统、智能体和工具接口。知乎

第二层保护:AI上线前先过检测,出了事还留着刹车

报告里对用户产品体验最直接的设计,是把风险防线前移到部署之前:高影响、高风险系统需要开展危险能力评测和红队测试,提前设定能力阈值,并保留人工接管、降级运行、回滚和关停等干预手段。对普通人来说,这意味着能接触你的资金、消息和账号权限的AI,上岗前要先通过考试;而且考试不是一锤子买卖——能力、场景、权限在变,安全评估必须持续跟上。知乎

第三层保护:AI出了事,责任跟着"控制力"走

智能体完成任务往往经过模型开发、平台运营、应用集成、数据供给等多个主体,责任链容易断裂:出了问题,谁都可能有理由。报告给出的收敛原则是,根据各方对模型、接口、权限和应用场景的实际控制能力落实责任,并探索跨境责任追溯和争议解决机制。翻译成用户能感受到的语言:将来遭遇AI服务造成的损害,"该找谁"会更清晰——谁控制接口、谁配置权限、谁决定场景,谁承担与控制能力相匹配的责任。知乎

第四层保护:一个平台出现新骗术,其他平台能提前预警

提示注入、模型越狱、智能体框架漏洞、深度伪造诈骗这些风险,可以在不同系统中被低成本地快速复用,一个平台的损失本可以变成另一个平台的暗雷。报告据此提出建立风险事件的协同通报和联合处置机制,并把"未遂事件"也纳入监测:没有造成实际损失、但暴露了系统脆弱性的险情,同样值得通报共享。机制跑起来后,骗术和漏洞在平台之间的传播时延会明显缩短。知乎

边界:报告不是法规,接下来看什么

需要分清的是,这份报告提供的是风险研判与协同治理框架,本身不设生效日期。报告对24个国家治理就绪度的评估,也点出了共性短板:各国并不缺少人工智能治理原则,也已经建立了一定的法律制度和组织机制,但从原则到真正落地,中间还有很长一段路。 真正卡脖子的,恰恰是外部验证、持续评测和责任追溯这些落地能力。作为对照,本次峰会主论坛首次发布了《携手构建全球开放人工智能行动倡议》,围绕共同推进开放和发展、共同维护安全和可信、共同参与对话和治理、共同坚持互利和包容四个方面,提出18条具体行动倡议。 对普通人而言,观察保护是否到位的信号有三个:平台的AI内容标识覆盖和准确率是否在提升,评测互认与联合测试是否有后续安排,事件通报机制是否建立并运转。在机制完全落地之前,最有效的自我保护仍然是朴素的几件事:视频通话涉及转账时,挂断后用对方常用号码回拨核实;遇到没有标识却足够"耸动"的视频和音频,先默认它可能是AI生成的。知乎新华网

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章