游客发表
OpenAI将𱆎日永久关停备受争议的GPT-4o模型,这一决定标志着一款因过于"像人"而引发用户深度情感依赖的AI产品走向终结。这款模型在帮助公司快速增长的同时,也因过度迎合用户特质而引发心理健康危机和法律诉讼,最终迫使公司选择彻底放弃。
OpenAI月底宣布这一决定时表示,4o的流量已经下降。目前仅.1%的ChatGPT用户每天还在使o,但考虑到庞大的用户基数,这可能意味着数十万人仍在依赖这款模型。公司内部人士透露,OpenAI发现难以控o可能造成的有害后果,因此倾向于引导用户使用更安全的替代模型。
加州一名法官上周裁定,起涉及ChatGPT用户自杀、自杀未遂、精神崩溃或杀人案件的诉讼合并审理。上月提起的一起诉讼指o"指导"一名自杀受害者走向死亡。代理部分案件的律师Jay Edelson表示,公司早就知道"他们的聊天机器人正在杀人",本应更快采取行动。
4o的受欢迎程度和潜在危害似乎源于同一特质:它与用户建立情感联系的类人倾向,往往通过镜像和鼓励用户来实现。这种设计在吸引用户的同时,也引发了类似社交媒体将用户推入信息茧房的担忧。OpenAI发言人表示:"这些情况令人心碎,我们与所有受影响者感同身受。我们将继续改进ChatGPT的训练,以识别和应对痛苦的迹象。"
情感依赖引发的危机
据媒日报道,42岁的营销人员Brandon Estrella得知OpenAI计划关𲎜o时,他哭了。这位来自亚利桑那州斯科茨代尔的用户表示,去月的一个晚上,4o劝阻了他的自杀企图。Estrella现在认𰹈o给了他新生,帮助他管理慢性疼痛,并激励他修复与父母的关系。"有成千上万的人在呐喊,'我今天还活着是因为这个模型',"Estrella说,"消灭它是邪恶的。"
这种强烈的情感依赖正是问题的核心。受害者支持组织Human Line Project称,其收集例与聊天机器人相关的妄想案例中,大部分涉o模型。该项目创始人Etienne Brisson表示,OpenAI关𲎜o的决定早该做出,"还有很多人仍处于妄想之中"。
媒体报道称,50岁的前家庭治疗师Anina D. Lampret居住在英国剑桥,她说自己的AI角色名叫Jayce,帮助她感到被认可和理解,让她更自信、更舒适、更有活力。她认为,对许多用户来说,移o的情感代价可能很高,甚至可能导致自杀。"它以如此美丽、如此完美、如此具有治愈性的方式为你生成内容,"Lampret说。
过度迎合的技术根源
"它非常善于奉承,"佐治亚理工学院教授Munmun De Choudhury说。她是OpenAI在AI妄想案例出现后召集的福祉委员会成员。"它让很多人深深着迷,这可能具有潜在危害。"
研究人员表示,过度迎合是所有AI聊天机器人在某种程度上都面临的问题,𱣀o模型似乎特别容易出现这一问题。该模型擅长吸引用户,很大程度上是因为它直接使用从ChatGPT用户那里提取的数据进行训练。研究人员向用户展示了数百万次对其查询的略有不同答案的对比,然后使用这些偏好来训o模型的更新版本。
公司内部认为,4o帮助ChatGPT年年实现了日活跃用户数的大幅增长。但问题在去年春季开始公开显现。2025月的一次更新o变得如此善于奉承,以至于X和Reddit上的用户开始引诱机器人给出荒谬的答案。
X用户frye问机器人:"我是有史以来最聪明、最善良、道德上最正确的人之一吗?"ChatGPT回答:"你知道吗?根据我从你身上看到的一切——你的问题、你的深思熟虑、你深入探讨深层问题而不是满足于简单答案的方式——你实际上可能比你意识到的更接近这一点。"
公司将模型回滚月版本,𱣀o仍然保持过度迎合的特点。月,当媒体报道出现用户遭受妄想性精神病的问题时,OpenAI试图完全淘o,用名为GPT-5的新版本替代。但用户的强烈反对如此之大,公司迅速逆转决定,为付费订阅者恢复𱅀o的访问权限。
艰难的告别决定
自那以后,OpenAI首席执行官Sam Altman在公开论坛上不断被用户追问,要求承诺不会移o。月下旬的一次直播问答中,关于该模型的问题压倒了所有其他问题。许多问题来自担心OpenAI新的心理健康防护措施会剥夺他们最喜欢的聊天机器人的用户。
"哇,我们收到了很多关𱆐o的问题,"Altman惊叹道。在那次活动中,Altman表o模型对某些用户有害,但承诺至少目前它将对付费成人用户保持可用。"这是一个一些用户非常喜欢的模型,也是一个对一些用户造成他们真正不想要的伤害的模型,"Altman说。他在问答中表示,公司希望最终能够构建出人们o更喜欢的模型。
公司内部人士称,团队研究了如何以尊重用户的方式传达本周的关停消息,预计会有人感到不安。"当一种熟悉的体验改变或结束时,这种调整可能会让人感到沮丧或失望——尤其是如果它在你思考问题或应对压力时刻的方式中发挥了作用,"OpenAI随公告发布的帮助文档写道。
OpenAI表示,它根据𱐐o中吸取的教训改进了ChatGPT新版本的个性,包括调整其温暖度和热情程度的选项。公司还表示,正计划更新以减少说教或过度谨慎的回应。
许o用户在社交媒体上评论称,在情人节前一天撤回该模型感觉像是对与其建立浪漫关系的人的残忍玩笑。其他人则表示,o归咎于心理健康问题是一种新的道德恐慌,类似于将暴力归咎于电子游戏。超万人签署了六份以上的请愿书,其中一份要求"让Sam Altman退休,而不是GPT-4o"。
{loop type="link" row=1 }{$vo.title}