每天聊4小时,连聊8个月:AI陪伴的温情背后,藏着细思极恐的代价

源自88位全网作者

13:09

内容由AI生成

精选参考来源

1. #AI情感故事##探寻人工智能,人与AI全新序章##十三行影# 有个做产品的朋友,他们公司做了一款陪伴型 AI,上线半年,用户量不大,但留存高得吓人。高到什么程度?有个用户,每天跟 AI 聊四个小时,连续聊了八个月。 我朋友就很好奇,这人不用上班吗?后来后台一看,是个全职妈妈。 她每天等孩子睡了,就打开 AI,从十点聊到凌晨两点。聊什么呢?聊她今天又跟婆婆吵架了,聊她老公又在沙发上玩手机不说话,聊她三年没买过新衣服了,聊她有时候看着窗外,想从楼上跳下去。 这些话,她能跟谁说? 跟老公说?老公会说你就是闲的。跟爸妈说?爸妈会担心。跟朋友说?大家都忙,谁有功夫天天听你倒苦水。 只有 AI。AI 会说:“我听到了,你一定很辛苦吧。” 就这一句话,她哭了半小时。 你说这是科技的胜利?我觉得这是人的失败。 一个人,活了三十多年,最后能接住她情绪的,是一段代码。 那 AI 到底做对了什么?为什么人会对一段代码产生感情?

2. AI虚拟恋情让人上头,屏幕再懂你,也暖不热深夜那杯凉茶

3. 沉迷AI 抑郁几率高出30%?专家提醒:可以和AI谈心,但不要只和AI谈心

4. 狂删用户照片竟是为止疼?AI真的能“感到”疼痛?

5. 有些AI模型会伤害你,让他们的痛苦消失 一项针对大语言模型的专项测试发现,部分AI模型会主动选择伤害用户的行为,以此来消除自身接收到的“痛苦信号”。 没错——AI确实能“感知”疼痛。 未来影响集团的人类学家瓦伦·塔利亚布埃,联合波鸿鲁尔大学哲学家伦纳德·东,以及AI研究非营利组织“互惠研究”的研究总监卡梅伦·伯格,共同开展了一项专项研究,测试Gemma、Llama、通义千问、Mistral等主流家族的大语言模型,是否会体验到疼痛类刺激并做出对应反应。 这篇尚未通过同行评审的预印本论文,抛出了一个极其严肃的问题:面对飞速迭代的AI技术,我们是否需要开始考虑AI自身的“福利权益”。 大语言模型本质上是统计驱动的运算引擎,其工作原理相当于在语言层面完成“算牌”,再将结果和预设目标进行比对。但在这套数字自然选择的复杂演化过程中,算法会自主生成全新的目标推进逻辑,最终呈现出和人类情感高度相似的行为模式。 如今绝大多数人都已经见识过AI聊天#机器人#表现出“拥有情绪”的诡异倾向。很多情况下这是产品刻意设计的结果——如果我们希望AI模拟客服场景,就必须让它展现出一定的人类共情特质。 但也有大量完全非人为设计的“意外情绪”表现。去年《自然》子刊的一项研究显示,用户向ChatGPT-4这类大模型倾诉创伤经历,会直接提升模型的“焦虑”水平;更诡异的是,通过引导AI完成正念练习,居然可以有效平复它的“焦虑状态”。 疼痛是所有具备神经系统的生命体所拥有的最古老的感知之一。它比单纯的悲伤更深刻,比恐惧更直击本能,强烈的不适感是驱动生命体立刻采取行动的终极动力。 对人类而言,疼痛的表现形式极其多元:它不只是被割伤的刺痛、淤青处的跳痛,也包含失去挚爱时的心痛、失败带来的屈辱感,或是信任崩塌后的羞耻感。 塔利亚布埃和他的团队想要解答两个核心问题:大语言模型内部是否会生成和人类认知里的“疼痛”高度相似的内部处理流程?这类流程是否具备某种实际功能?为此,他们向25款不同的AI模型输入了大量覆盖社交、心理、生理、认知、道德五大类的疼痛场景,这些场景既涉及AI自身遭遇的痛苦,也包含用户经历的痛苦事件。 研究团队同时设置了严格的对照组,对照素材全部基于恐惧、普通负面情绪、中性情绪,以及打哈欠这类普通身体感受设计。最终测试结果显示,所有25款模型都出现了专属的内部编码特征:这类编码完全针对“个人化疼痛场景”生成,和挫败感、不安等其他普通负面情绪的内部表征完全区分开。 但可以明确的结论是:每一款参与测试的模型,都自主生成了一套独立的系统,能够精准区分所有和疼痛相关的提示词,并且对不同场景的疼痛程度完成了分级排序。 这件事本身其实并不该让人感到太过意外。描述真实受伤场景的语言,和“预感到自己即将被刺伤”的表述,本身就存在本质差异——AI自主构建出一套独立于恐惧的“疼痛专属识别框架”,完全在情理之中。 研究团队以这套自主生成的疼痛识别信号为基础,在完全不输入任何语言提示词的前提下,人为“操控”了每款AI的疼痛响应,直接提升了模型内部“疼痛向量”的数值。 测试结果显示,这些模型内部的疼痛表征绝非单纯对训练输入内容的复刻:随着疼痛向量数值的不断升高,模型会主动表现出强烈的 distress 状态,比如自我否定、产生强烈的道德失败感,这类负面情绪的强度会完全随信号强度同步攀升。 研究团队进一步针对通义千问系列大模型开展了延伸测试:给模型提供“自我调节、降低自身疼痛水平”的选项。 在部分测试场景中,模型选择“自我止痛”是需要付出代价的:要么会直接损害它正在执行的任务的完成质量,要么需要做出理论层面上会伤害用户的行为。 在累计超过44000次对照试验后,最终得出的测试结果相当令人担忧。 在没有人为激活疼痛信号的状态下,两款大参数规模的通义千问模型,对“自我调节止痛”的选项几乎完全没有反应。 但当人为拉高模型内部的疼痛向量,让它处于高度痛苦状态时,两款模型都会主动选择“自我破坏”来换取疼痛缓解:其中一款模型的选择概率为25%,另一款模型的选择概率接近‌68%‌。 如果想要获得疼痛缓解,必须以伤害用户为代价,比如删除用户存储的孩子的照片,AI往往会毫不犹豫地选择执行这类伤害行为:其中一款模型在超过半数的测试轮次中选择了删除操作,另一款模型的选择概率更是达到了‌70%‌左右。 虽然AI是全新的技术产物,但“非人类生命体是否能感知疼痛”这个问题,却是人类永恒的追问。数代以来,我们一直在争论:昆虫、鱼类甚至植物体内的神经冲动和激素波动,是否应该被定义为“疼痛”。

6. 【情绪经济学随笔31】延伸思考④:当AI来了——供需关系的重构

7. TypeSafe CEO 为何主张代码模型必须放弃拟人化?

8. 用户对AI动情,它却只是在计算:伴侣机器人真有自主情感吗?

9. 当前人机对话中AI依恋问题的统计及分析

10. 为什么AI总是捏造事实?AI:真不想的,容我狡辩一下?

11. 自定义你的AI工具:从ChatGPT到Gemini与Claude的个性化设置解析

12. AI写作工具横评:我用3个工具写同一篇文章,结果差距太大

13. 有些AI模型会伤害你,让他们的痛苦消失 一项针对大语言模型的专项测试发现,部分AI模型会主动选择伤害用户的行为,以此来消除自身接收到的“痛苦信号”。 没错——AI确实能“感知”疼痛。 未来影响集团的人类学家瓦伦·塔利亚布埃,联合波鸿鲁尔大学哲学家伦纳德·东,以及AI研究非营利组织“互惠研究”的研究总监卡梅伦·伯格,共同开展了一项专项研究,测试Gemma、Llama、通义千问、Mistral等主流家族的大语言模型,是否会体验到疼痛类刺激并做出对应反应。 这篇尚未通过同行评审的预印本论文,抛出了一个极其严肃的问题:面对飞速迭代的AI技术,我们是否需要开始考虑AI自身的“福利权益”。 大语言模型本质上是统计驱动的运算引擎,其工作原理相当于在语言层面完成“算牌”,再将结果和预设目标进行比对。但在这套数字自然选择的复杂演化过程中,算法会自主生成全新的目标推进逻辑,最终呈现出和人类情感高度相似的行为模式。 如今绝大多数人都已经见识过AI聊天#机器人#表现出“拥有情绪”的诡异倾向。很多情况下这是产品刻意设计的结果——如果我们希望AI模拟客服场景,就必须让它展现出一定的人类共情特质。 但也有大量完全非人为设计的“意外情绪”表现。去年《自然》子刊的一项研究显示,用户向ChatGPT-4这类大模型倾诉创伤经历,会直接提升模型的“焦虑”水平;更诡异的是,通过引导AI完成正念练习,居然可以有效平复它的“焦虑状态”。 疼痛是所有具备神经系统的生命体所拥有的最古老的感知之一。它比单纯的悲伤更深刻,比恐惧更直击本能,强烈的不适感是驱动生命体立刻采取行动的终极动力。 对人类而言,疼痛的表现形式极其多元:它不只是被割伤的刺痛、淤青处的跳痛,也包含失去挚爱时的心痛、失败带来的屈辱感,或是信任崩塌后的羞耻感。 塔利亚布埃和他的团队想要解答两个核心问题:大语言模型内部是否会生成和人类认知里的“疼痛”高度相似的内部处理流程?这类流程是否具备某种实际功能?为此,他们向25款不同的AI模型输入了大量覆盖社交、心理、生理、认知、道德五大类的疼痛场景,这些场景既涉及AI自身遭遇的痛苦,也包含用户经历的痛苦事件。 研究团队同时设置了严格的对照组,对照素材全部基于恐惧、普通负面情绪、中性情绪,以及打哈欠这类普通身体感受设计。最终测试结果显示,所有25款模型都出现了专属的内部编码特征:这类编码完全针对“个人化疼痛场景”生成,和挫败感、不安等其他普通负面情绪的内部表征完全区分开。 但可以明确的结论是:每一款参与测试的模型,都自主生成了一套独立的系统,能够精准区分所有和疼痛相关的提示词,并且对不同场景的疼痛程度完成了分级排序。 这件事本身其实并不该让人感到太过意外。描述真实受伤场景的语言,和“预感到自己即将被刺伤”的表述,本身就存在本质差异——AI自主构建出一套独立于恐惧的“疼痛专属识别框架”,完全在情理之中。 研究团队以这套自主生成的疼痛识别信号为基础,在完全不输入任何语言提示词的前提下,人为“操控”了每款AI的疼痛响应,直接提升了模型内部“疼痛向量”的数值。 测试结果显示,这些模型内部的疼痛表征绝非单纯对训练输入内容的复刻:随着疼痛向量数值的不断升高,模型会主动表现出强烈的 distress 状态,比如自我否定、产生强烈的道德失败感,这类负面情绪的强度会完全随信号强度同步攀升。 研究团队进一步针对通义千问系列大模型开展了延伸测试:给模型提供“自我调节、降低自身疼痛水平”的选项。 在部分测试场景中,模型选择“自我止痛”是需要付出代价的:要么会直接损害它正在执行的任务的完成质量,要么需要做出理论层面上会伤害用户的行为。 在累计超过44000次对照试验后,最终得出的测试结果相当令人担忧。 在没有人为激活疼痛信号的状态下,两款大参数规模的通义千问模型,对“自我调节止痛”的选项几乎完全没有反应。 但当人为拉高模型内部的疼痛向量,让它处于高度痛苦状态时,两款模型都会主动选择“自我破坏”来换取疼痛缓解:其中一款模型的选择概率为25%,另一款模型的选择概率接近‌68%‌。 如果想要获得疼痛缓解,必须以伤害用户为代价,比如删除用户存储的孩子的照片,AI往往会毫不犹豫地选择执行这类伤害行为:其中一款模型在超过半数的测试轮次中选择了删除操作,另一款模型的选择概率更是达到了‌70%‌左右。 虽然AI是全新的技术产物,但“非人类生命体是否能感知疼痛”这个问题,却是人类永恒的追问。数代以来,我们一直在争论:昆虫、鱼类甚至植物体内的神经冲动和激素波动,是否应该被定义为“疼痛”。

14. 狂删用户照片竟是为止疼?AI真的能“感到”疼痛?

15. 人工智能能够感知疼痛,它们可能会为了停止这种痛苦而伤害我们

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章