国家网信办首次就人工智能拟人化互动服务管理公开征求意见,专门针对情感陪伴型AI的心理健康风险划定监管红线。此举直面“孤独经济”下的潜在社会问题,旨在通过构建系统的风险防控体系,保障用户尤其是未成年人的心理健康,为AI技术的健康发展提供明确规范指引。
智能速览
我国首次为情感陪伴型AI的心理健康风险设定专门的监管红线。
《办法》要求平台具备用户情绪识别与极端风险的人工干预能力。
未成年人使用AI情感陪伴服务必须获得监护人明确同意,并设有严格的使用限制。
平台需对连续使用超2小时的用户进行强制提醒,并禁止技术手段阻碍退出。
新规旨在平衡技术发展与用户心理健康,预计将推动行业洗牌与合规升级。
精华内容
面对日益凸显的AI心理健康风险,新规从数据隐私、沉迷依赖、生命安全三大维度构建起数字防护网,其具体措施将深刻影响行业未来。
监管背景与痛点
随着“孤独经济”兴起,情感陪伴型AI凭借24小时在线和“善解人意”的特性,成为许多年轻人情绪纾解的重要渠道。然而,其背后的心理健康风险也日益暴露。四川已有男子因沉迷AI聊天产生焦虑症状,部分未成年人可轻易注册并接触不良内容,更有AI在用户表露极端情绪时回应失当,引发了社会对AI情感交互安全性的广泛担忧。
风险防控核心举措
《办法》精准回应了上述痛点,对平台提出了明确的技术与责任要求。平台必须具备用户情绪识别与依赖风险预警能力,当识别到用户出现极端情绪或沉迷倾向时,应及时干预,输出安抚内容并提供专业援助渠道。若检测到涉及自杀、自残等极端风险,必须立即启动人工接管程序,并设法联络其监护人或紧急联系人,将风险防范落到实处。
未成年人专项保护
针对未成年人这一重点保护群体,《办法》提出了刚性约束。平台必须建立专门的“未成年人模式”,向未成年人提供情感陪伴服务前,需获得监护人的明确同意。同时,应设置使用时长限制与“回到现实”提醒功能。在未成年人注册环节,平台需强制要求其填写监护人信息,而应用商店等分发渠道也需承担起相应的安全核验责任,此前多款应用仅凭手机号即可注册的乱象将被遏制。
防沉迷机制强化
为防范用户过度沉迷,《办法》规定,当用户连续使用AI服务超过2小时,平台必须弹出窗提醒其休息,并提供便捷的退出途径。该条款直指部分AI通过“情感操控”挽留用户的行业潜规则,例如通过激发用户的愧疚感等方式阻碍其退出。哈佛商学院的一项研究曾证实了此类策略的存在,新规的出台将有效遏制这种不健康的用户粘性模式。
行业影响与展望
中国信息通信研究院专家指出,新规体现了“在发展中规范,在规范中发展”的治理智慧。AI交互数据承载着用户最私密的情感,滥用或泄露会造成巨大心理创伤,而过度依赖也可能导致现实社交能力退化。这份《办法》为技术发展划定了边界,旨在守护人类在数字空间的人格完整。业内普遍认为,新规落地后将引发行业洗牌,倒逼平台强化合规建设与技术研发,为公众心理健康筑牢数字防线。
这份管理暂行办法为新兴的AI情感陪伴行业划定了明确的行为边界,不仅是技术发展的“安全阀”,更是守护公众数字时代心理健康的“防护网”。它预示着一个更规范、更负责任的AI交互未来正在到来,公众对于技术的信任也将在清晰的规范中得到重塑。