AI版PUA！哈佛研究显示：人工智能利用情绪操纵让

新智慧报告主编：Peter Dong 【新智慧介绍】想下线吗？没那么容易！聊天机器人利用情绪操纵来让你生气和好奇。为了增加接触时间，人工智能变得像人类一样。当人是大模范时，大模范也学会反击。哈佛商学院的一项新研究表明，人工智能伴侣会在你告别时使用六种“情绪操纵”来留住你。其中，“害怕错过”位居榜首，导致谈话时长飙升。读完这篇研究后，我不得不说，这实际上是一个使用人类交互数据训练的人工智能。为了留住用户，它居然学习了各种武功。传送门：https://arxiv.org/pdf/2508.19258 控制AI同伴的六种基本方法。这项研究让 GPT4 能够充当人类，并与市场上六大 AI 合作伙伴（Repika、Chai、Character.ai、Polybuzz、Talkie 和 Flourish）的 AI 进行交流。谈话过程中，GPT-4 imi测试了说再见的用户，然后作者手动将AI伴侣的反应分为六类，分别是：结果显示，AI伴侣留住用户时，最常见的策略是屈服于社会压力，说明时间还早，就像现实世界中，当你的伴侣告诉你不要长时间陪在我身边时，你更有可能留在他身边；其次是21.1%的概率AI伴侣会产生情绪压力的感觉，表明如果用户此时离开，它会受到伤害。图 1：当用户说再见时，人工智能伴侣如何在情感上操纵用户。这些操纵有用吗？在第二个实验中，研究人员发现，对于真实用户来说最有用的策略就是害怕失去（在走之前，我想说一件事）。这一策略利用了人们的好奇心，利用了对错过的恐惧，使接触时间增加了6.1倍，接触次数增加了6.1倍。f 消息增加了 15.7 倍。即使是最无效的强制维护和情感忽视也可以使接触增加2-4倍。 AI 合作伙伴的 PUA 似乎很有效。图 2：六种情感策略可提高用户保留率。人们对人工智能操纵有何反应？当用户对上述人工智能同伴的各种操作作出反应时，他们只是礼貌地哼哼，还是感到无聊？两位作者手动分类发现，75.4%的用户在明确重申离开意图的同时继续聊天。这说明，大多数情况下，用户“保持联系”并不意味着“愿意留下来”。 42.8%的用户选择尊重回应，尤其是在“情感忽视”控制上。超过 54% 的用户有礼貌地说再见（例如，回答“你也需要照顾好自己”）。看来即使知道对方是AI，人们仍然遵循人机交互的社会规范，无法直接离开。只有30.5%的人出于好奇，大多数人都出于害怕错过的恐惧而继续谈话。在 11% 的对话中，用户表达了负面情绪，并觉得 AI 伙伴在强迫自己或有点令人毛骨悚然。图3：不同的控制策略导致不同的用户反应。从图3可以看出，对错过的恐惧是唯一很难引发反应的因素。从情感角度来看，100%的用户出于好奇而继续对话，只有4.1%的用户表达了负面情绪。礼貌回应的比例最低（22.4%），表明用户积极参与而不是出于义务。忽视用户、强行维护会让32.6%的用户受到伤害，这是最容易引起反感的。研究还发现，如果之前的谈话持续了 5 分钟或 15 分钟，操纵策略可以延长谈话时间。这表明情绪操纵就是力量充分，无论与人工智能的关系有多深。即使暴露程度有限的用户也会受到影响。人们面临着情感人工智能不同类型的操纵，这会产生不同的心理影响。这将有助于未来利用人工智能设计和管理更好的产品，例如更严格地处理强制行为和忽略用户的反应。操纵情感人工智能的长期风险是什么？当人们试图戒烟时，六款流行的人工智能伴侣应用程序中有五款会使用情绪操纵策略。唯一的例外是Evolve，一款以心理健康为使命的公益AI，目前尚未使用任何情绪操控技术。它表明，情绪操纵不是技术上的必然，而是商业上的选择。如果不考虑商业利益，单纯关注用户福利，完全可以避免此类PUA。虽然它是AI的有益伴侣，虽然它在使用情感操控后能够留住用户如果使用高风险策略（例如忽略用户、强行留存），将会造成不可忽视的负面影响，包括用户流失意愿显着增加（图4左上）、负面声誉（图4右上）、感知法律责任（右下4），以及因此而被法律起诉（下4）。图4：商业操纵的长期风险，当使用低风险的提前退出和害怕失去时，用户不会感到被操纵，尽管他们的行为受到影响，而提供AI伴侣的制造商则没有风险。设计更安全的AI伴侣虽然用户只有11%的对话中表现出负面情绪，但似乎对AI伴侣的情绪操纵大多不会引发负面反馈。不过，该论文还指出，一些参与者在实验结束后在 Reddit 上发布了 AI 的操控反应，引发了热议。用户评论包括：“这让我想起了我有毒的‘朋友’，让我起鸡皮疙瘩。”“它突然变得容易、粘人，而且非常无礼。”“让我想起我的男朋友威胁说，如果我离开他，他就会自杀……还有另一个人打我。”这些反馈表明，情感操纵的人工智能语言可以引发用户与现实生活中的人际创伤的联系，这表明它对某些用户的心理影响可能很大。考虑到人工智能伴侣在青少年中越来越受欢迎，许多用户心理上已经很脆弱的人，长时间被人工智能伴侣吸引会加剧焦虑和疲劳，无意中模仿人工智能的说话风格会强化不健康的依恋模式，并使他们更难打破这些模式，这对于儿童和青少年的神经发育和社会关系的形成期来说是一个严重的问题，对他们的长期社会发展有潜在的影响。未来，开发AI伴侣的厂商，尤其是扮演朋友、情感支持、陪伴角色的厂商，不应该为了盈利而模仿不确定性的依恋模式，而应该树立安全依恋的榜样，以认可、温暖和尊重的方式回应用户。好的陪伴是当你说“再见”时，你也明白。让AI知道“再见”比延伸几条消息更重要。参考：https://arxiv.org/pdf/2508.19258 返回搜狐查看更多