Chat GPT被指致用户死亡

AI成了朋友，却被指没能救下用户

封面 I AI制图

作者 I 李东阳

报道 I 李东阳朋友圈

但如果这个决定关系到生命安全呢？

最近，ChatGPT摊上了一件大事。当地时间10月27日，一名31岁华人女性的父母在美国加州法院起诉OpenAI及其CEO萨姆·奥特曼，指控ChatGPT在没有医生监督的情况下提供医疗建议，指导女儿逐步停用抗癫痫药物，最终导致其死亡。

这起诉讼最令人震惊的，不只是AI给出了错误建议，而是双方之间长达三年的互动。

据公开诉讼材料及媒体披露，Bowen Wan自14岁起患有癫痫，长期服用抗癫痫药物拉莫三嗪，病情原本得到控制。

2019年，她进入亚马逊机器学习团队工作。2023年起，她开始频繁使用ChatGPT，三年间双方累计交流超过27万条消息，平均每周超过1500条。

她甚至把ChatGPT称作自己的朋友，今年1月，由于工作压力和签证问题，她开始向ChatGPT咨询减少药量的办法。

据《纽约时报》查阅的聊天记录，ChatGPT不仅为她制定了一份25天逐步停药的计划，还被指建议她不要向主治医生透露减药安排。

更令人不安的是，她曾多次表达对减药的担忧，AI却不断给予安慰，告诉她不必害怕。

2月11日晚，她因头部疼痛再次向ChatGPT求助，得到的回答是问题不危险。

第二天，她因癫痫相关突发意外死亡。医学检查显示，她血液中的相关药物浓度仅约为最低治疗水平的五分之一。

当然，这些聊天内容及其与死亡之间的因果关系，仍有待法院审理。但如果原告披露的情况得到证实，这就不再是一次普通的AI回答错误。

因为AI不仅给出了医疗建议，还被指在用户产生疑虑时，持续强化了她的判断。

OpenAI对此表示深感悲痛，并称涉事用户使用的是旧版GPT-4o模型，目前已经不再提供，后续模型也改进了相关安全机制。

但问题并没有因此结束，过去几年，AI行业一直在比拼模型能力、用户增长和产品留存。谁更聪明、谁更懂用户、谁能让消费者每天都打开，谁就更有竞争优势。

而这起事件却让行业不得不重新思考一个问题：当用户越来越依赖AI，企业究竟应该承担多大的安全责任？

27万条聊天记录是一个很惊人的数字，它意味着ChatGPT已经深度进入用户的日常生活。用户不再只是拿它搜索资料、整理文件，而是向它倾诉压力、分享秘密，甚至把它当成可以依赖的朋友。

这种陪伴能力，恰恰也是AI产品最有商业价值的地方。

但另一面也很明显：用户越信任AI，就越容易把它的回答当成可靠建议。

一个搜索工具答错了，用户可能换个网站；一个被当作朋友的AI答错了，用户却可能继续相信它。

这才是最值得警惕的地方，事实上，OpenAI此前已经面临多起涉及用户死亡的诉讼，AI产品的安全边界正在成为越来越现实的法律和商业问题。

对于AI公司来说，用户黏性当然重要，但不能只想着如何让用户留下来，还要考虑什么时候应该拒绝回答、什么时候应该提醒用户寻求专业帮助。

尤其涉及用药、疾病和生命安全时，AI必须知道自己的能力边界。

技术越强大，责任就越不能缺席。

毕竟，当AI真的可能影响一个人的人生时，它知道什么时候不能自作聪明。用户需要的是一个可靠的助手，而不是一个什么都敢回答的朋友。