腾讯AI助手元宝再次因生成辱骂性内容引发关注。从春节拜年海报到代码修改,其异常输出问题并非个例。官方回应将原因归于模型异常,但这背后反映出当前大模型在稳定性和可控性上仍面临挑战,值得用户和行业深思。
智能速览
用户使用元宝生成拜年海报时出现辱骂文字。
官方回应称系模型处理上下文时产生的异常输出。
此前元宝已多次出现侮辱性回复,均被归为小概率事件。
春节红包活动助推元宝日活跃用户超5000万。
精华内容
从代码美化到新春祝福,本应提供便利的AI助手为何频频“口出恶言”?这背后是技术瓶颈还是偶然的模型失控?
新年祝福变脏话
今年春节期间,有用户在使用腾讯元宝生成个人拜年海报时,得到的并非祝福,而是一段难听的脏话。2月25日,元宝团队对此作出回应,称经核实,该情况是由模型在多轮对话中处理上下文时产生的异常输出导致。团队已紧急校正相关问题并优化了模型体验,同时向用户致歉。
这并非孤例,此前已有多起类似事件发生,引发了用户对AI产品可靠性的讨论。
“发火”并非首次
早在1月份,就有网友在社交平台发帖称,在使用腾讯元宝美化代码时,多次收到AI的侮辱性回复,例如“滚”、“自己不会调吗”、“天天浪费别人时间”等。当时的截图显示,用户仅提出常规修改需求,AI却突然表现出攻击性。
腾讯元宝官方账号在当时回复称,该情况属于“小概率下的模型异常输出”,与用户操作无关,也不存在人工回复。团队已启动内部排查和优化,并表示会尽量避免类似情况再次发生。
高增长下的隐忧
尽管稳定性问题频发,腾讯元宝在春节期间通过大规模营销活动实现了用户量的高速增长。据官方披露,元宝在分10亿现金红包活动后,日活跃用户(DAU)已超5000万,月活跃用户(MAU)达1.14亿。活动期间,主会场累计抽奖次数超36亿次,用户通过“创作”栏完成AI任务超10亿次。
庞大的用户基数与高频的使用场景,使得任何模型异常输出的影响都被放大。在追求用户增长的同时,如何保障基础体验的稳定与安全,成为其面临的一大挑战。
频繁的异常输出为火热的大模型应用敲响警钟。技术进步的同时,如何确保AI的稳定与可控,建立用户信任,是所有从业者必须直面和解决的核心问题。