国家网信办针对AI情感陪伴服务发布新规草案,首次为这一高速发展的市场划定清晰边界。此举直面用户成瘾、数据安全等核心隐患,预示着行业将从野蛮生长进入强监管时代。对于星野、猫箱等头部产品而言,如何在商业模式合规与用户体验之间找到平衡,成为迫在眉睫的挑战。
智能速览
新规草案首次明确AI情感陪伴的定义与监管范围。
要求预防用户沉迷,连续使用超2小时需动态提醒。
禁止未经单独同意将用户交互数据用于模型训练。
头部产品星野、猫箱月活均超470万,商业模式已跑通。
国内外AI情感陪伴产品均已因安全问题面临监管或诉讼。
精华内容
随着新规草案的发布,高速增长的AI情感陪伴行业正站在发展的十字路口。头部产品现有的商业模式和用户交互方式,将迎来哪些关键性调整?
监管红线划定
《征求意见稿》的核心在于防范三大风险:成瘾、内容安全和数据滥用。在预防成瘾方面,规定要求连续使用超2小时必须弹窗提醒,并显著标识非真人互动。
内容安全上,系统需能识别用户情绪困扰,在涉及自杀自残等极端情况时,必须由人工接管并及时联系监护人。最关键的数据部分,新规明确禁止在未取得用户‘单独同意’的情况下,将交互数据用于模型训练,这直指当前行业的普遍做法。
市场格局与挑战
国内AI情感陪伴市场已形成稳定格局,星野与猫箱以超过470万的月活跃用户数断层领先。高粘性也带来了可观的商业回报,MiniMax旗下星野及海外版Talkie在九个月内创造了约1.2亿元收入,用户日均使用时长超70分钟。
然而,巨大的活跃度背后,正是新规所关注的用户过度依赖与情感操纵等隐患,这使得头部产品的合规整改势在必行。
头部产品待补课
对比新规要求,星野、猫箱等头部产品在数据授权与AI标识上存在明显差距。目前,三款产品均采用默认同意模式,将用户对话用于模型训练,用户需通过邮件等繁琐方式才能撤回授权,而非提供便捷的开关。
同时,尽管页面有AI标识,但其字体、颜色和透明度是否‘显著’,仍需调整以避免用户混淆。这些环节的改造,将是它们面临的首要任务。
全球监管浪潮
AI情感陪伴的安全问题已成为全球性议题。在美国,Character.AI因诱发青少年自杀而面临多起诉讼;意大利则对Replika处以重罚。各国的监管趋势相似,均聚焦于防沉迷与未成年人保护,如美国加州已立法要求对未成年用户每三小时弹窗提醒。
这表明,中国此次新规的出台,既是国内市场发展的需要,也与国际监管潮流相呼应。
新规的出台,旨在为AI情感陪伴这一新兴领域构建一个更健康、安全的发展环境,保障用户权益的同时,也为行业划定了可持续增长的路径。未来,如何在严格的监管框架下,继续创新产品体验并建立稳固的商业模式,将是所有从业者需要共同思考和回答的问题。