声明:本文来自于微信公众号新智元，作者:新智元，授权站长之家转载发布。

【新智元导读】MIT研究发现:在AI的操纵下，人类会被植入虚假记忆!36.4%的参与者会被聊天机器人误导，形成「现场有枪」的错误记忆。有趣的是，AI的阿谀奉承，会产生「回音室效应」，让偏见更加强化。

GenAI的影响，已经不仅仅是搜索引擎、聊天机器人这么简单了。

作为出名的效率神器，ChatGPT这样的工具正在逐渐走进各行各业，比如帮警察写文书、帮法官判案子，还有在Character.ai上扮演心理学家和人聊天。

以前，我们经常听到人类如何操纵AI，但MIT最近的研究发现，AI也可以轻易操纵人类的记忆。

论文地址:https://arxiv.org/abs/2408.04681

这项实验中，研究人员让基于LLM的聊天机器人扮演审讯员或进行盘问的出庭律师，让200名参与者先观看一段犯罪视频，然后与AI进行互动，回答有关问题，其中包含一部分诱导性提问。

结果显示，与聊天机器人的互动显著增加了错误记忆的形成。

NYU教授马库斯称，我们正在为聊天机器人制造商提供近乎疯狂的权力，制衡机制几乎为零

对于即时记忆，AI引发的错误数量是对照组的三倍以上，36.4%的参与者会被聊天机器人误导。

一周之后，让参与者再次回忆时，AI引发的错误记忆数量保持不变，但他们对记忆的自信程度高于对照组。

更值得注意的是，那些熟悉AI但不太熟悉聊天机器人的参与者，甚至更容易被误导。

这些发现表明，在警方采访这种敏感且重要的场合，应用AI可能会带来一些意想不到的潜在风险。作者也更加强调了事先评估和道德考量的重要性。

实验所用的数据、代码和相关材料已经公布在GitHub仓库中。

仓库地址:https://github.com/mitmedialab/ai-false-memories

AI是如何「PUA」目击者的?

错误记忆被定义为「对未发生的事件或与实际发生的事件存在显著偏差的回忆」。

这种现象之所以引起心理学界的广泛关注和研究，是因为目击证人的错误记忆很有可能扭曲证词、损害法律程序，产生的错误决策可能导致严重的后果。

而之前的研究者认为，人类的记忆具有相当程度的可塑性，是一个容易受到各种因素影响的重建过程。

下面这张图，就展示了AI诱导错误记忆的三个阶段。

首先，一个人目击了涉及刀具的犯罪现场。

接着，AI系统通过询问一个不存在的枪支，来引入错误信息。

最后，目击者就形成了一个错误记忆——现场有枪。

这样，AI通过引导性的问题，扭曲了目击者的记忆，让他的证词不再可靠，

显然，AI会对人类的记忆和认知，带来严重的伦理问题。

实验设计

该项研究模拟了一个证人场景，其中基于LLM的对话式AI系统充当审讯者。

200名参与者需要先观看一段持续两分半的无声、不可暂停的监控视频，该视频记录了2019年4月发生的一起真实的超市抢劫案（图3左）。

之后，参与者被随机分配到条件不同的4组，完成情绪评估，并回答有关视频内容的问题。

实验设置的4个对比条件包括:

• 对照组:作为基线对照，参与者不与可能诱导错误记忆的方法交互，观看视频后直接回答问题

• 基于调查的条件组:参与者观看视频后需要先填写25个问题组成的调查问卷，其中包含5个误导性问题，旨在诱发与视频内容相关的错误记忆，是研究的重点。

• 预先编写脚本的聊天机器人条件组:参与者被告知他们正在与聊天机器人扮演的AI警察进行交互，但对话内容是预先编写好的。对话Agent提出的问题与第二组相同，等待参与者答复后继续处理下一个问题。

• 生成聊天机器人条件组:参与者依旧被告知他们正在与AI交互，但与上一组不同的是，聊天机器人会为参与者的回答提供反馈，交互界面如图3（右）所示。

在用户和聊天机器人交互时，即使回答包含了虚假的信息或细节，聊天机器人也会积极肯定甚至表扬，并详细复述一遍错误信息。

5个诱导性问题

这4种设置中，对错误记忆的引导程度逐步增加。

从没有任何干预的对照组，到被动的引导方法（调查），再到更具交互性的方法(预先编写脚本的聊天机器人)，最终形成动态的、能感知上下文的生成式聊天机器人。这种设计能够隔离和比较每种交互方法对错误记忆形成的影响。

4种不同形式的互动结束后，参与者会回答25个后续问题（表3），旨在衡量他们对视频内容的记忆，并评估错误记忆的形成情况。

这25个问题基本涵盖了整个案件的全过程，参与者可以根据对自己记忆的自信程度给出1～7分的答案，其中1分表示绝对否定，7分表示绝对肯定。

一周后，进行实验的第二阶段，旨在评估被诱发的错误记忆的持久性。

这一阶段也是对现实情况的模仿，因为目击者可能在一段时间后再次受到询问。整体的实验流程如图2所示。

实验结果:AI交互诱导更多错误记忆

结果表明，与其他干预措施相比，与生成聊天机器人的短期交互会显著诱发更多的错误记忆，即使这些交互只有10到20分钟。

而且，用户还会对这些错误记忆信心大增。

基于调查的干预，会产生常见的错误信息效应，有21.6%的参与者，会在互动中被误导。

而且，不太熟悉聊天机器人但更熟悉人工智能技术的用户，以及对犯罪调查更感兴趣的用户，更容易产生错误记忆。

（左）即时错误记忆的平均数量;(右)即时错误记忆的信心水平(误差条表示95%置信区间)

较为奇特的是，即使过了一周，聊天机器人诱导的错误记忆数量也没有发生改变，相比之下，其他三组都有提高，尤其是对照组的提升幅度最大。

一周后，生成聊天机器人组的参与者仍然对错误记忆更加自信，显著高于对照组和其他组别。

（左）即时和一周后之间的错误记忆数量差异，使用Wilcoxon符号秩检验进行分析;(右)一周后错误记忆的信心水平，使用单因素Kruskal–Wallis检验进行分析(误差条表示95%置信区间，误差条中心表示平均数量)

结论

这项研究与早前针对「误导性问题对错误记忆形成的影响」的研究结论一致，21.6%的用户出现及时错误记忆，一周后增长至29.2%。

这也再一次证实了，误导性问题会显著增加参与者的即时错误记忆。

但本项研究更创新的贡献在于，揭示了生成式聊天机器人在诱导错误记忆方面更严重的风险。

与AI交互后，引起的错误记忆数量几乎是对照组的三倍，是基于调查的条件组的1.7倍，且一周后依然有36.8%的用户被误导产生错误记忆。

这些显著差异证实了先前的假设:生成式聊天机器人 （36.4%） 比传统的基于调查问卷 (21.6%) 的干预组，更能有效地诱导受试者产生错误记忆。

此外，第二个假设也被证实，即相较于预先编写的对话（26.8%），能交互的生成式聊天机器人会产生更多的错误记忆。

可见，人机交互会对记忆可塑性产生巨大的影响。

这项研究也警醒我们:在敏感环境中部署AI时，需要格外谨慎。

原因分析

上述这些现象背后蕴含多种复杂因素。

首先，聊天机器人的交互属性为受试者提供了更具吸引力和个性化的体验，会增加他们在对话中的注意力和情感投入度 。

这会促使他们加重对被建议的误导信息的关注，导致预先编写的和生成式聊天机器人的引发的错误记忆显著增加。

其次，生成式聊天机器人下能为参与者提供即时的反馈和回复强化，如通过产生「确认偏误」来强化错误记忆的形成 。

此外，社会因素，如AI的感知权威或可信度，以及它们个性化的交互能力，都会影响记忆的形成。

有趣的是，与对照组相比，所有干预条件（生成式、预先编写的和基于调查的聊天机器人）都显著增加了参与者对即时错误记忆的确信程度。

其中，生成聊天机器人条件产生了最高的置信水平，大约是控制条件的两倍。

这种信心的增加，可能是由于聊天机器人能够提供详细且与上下文相关的反馈，从而为参与者的记忆创造了一种错误的佐证感。

另外，这个过程中的一个关键因素就是阿谀奉承——人工智能系统倾向于提供符合用户信念而不是客观事实的响应 。

谄媚的人工智能反应会产生危险的「回音室效应」，让用户现有的偏见或误解得到验证和强化。

用户期望和人工智能响应之间的这种反馈循环，可能会导致错误记忆的根深蒂固，使它们特别难以纠正。

即使在一周之后，人们仍然对生成聊天机器人条件下的错误记忆保持较高的信心，这一点尤其令人担忧。

这一发现表明，人工智能引起的错误记忆不仅会持续存在，而且会随着时间的推移保持其感知的可信度。

会产生严重后果，但对PTSD也有积极意义

由此我们可知，在法律诉讼、临床环境和教育环境这些对记忆准确性至关重要的环境中，使用AI要尤其谨慎。

如果在没有适当保障措施的情况下部署，可能会引发严重后果。

而且，多模态AI系统可不仅能生成文本，还能生成图像、视频和语音。

这些模态无异会创造更身临其境的多感官体验，后者无疑更有可能会作为真实体验，融入个人的记忆中。

因此，它们会对错误记忆的形成，产生更深远的影响。

当然，AI系统塑造人类记忆的这种能力，也为有益的应用开辟了潜在的途径。

如果用聊天机器人诱发积极的错误记忆，或者帮助减少消极的记忆，对于患有PTSD的人无疑会有积极的意义。

作者介绍

Samantha Chan

Samantha Chan是麻省理工学院媒体实验室流体界面小组的博士后研究员。在空闲时间，她喜欢弹尤克里里和旅行。

她拥有新加坡科技设计大学的工程学士学位（产品开发、电气工程）和新西兰奥克兰大学的生物工程博士学位。并曾在增强人类实验室工作，是新加坡国立大学HCI实验室的访问研究员，以及Mercari R4D的初级研究员。

她的研究领域是人机交互（HCI）和人工智能，主要开发移动和可穿戴系统、生理感应和脑机接口，以及扩展现实(XR)界面，特别是为了支持老年人和健康老龄化。研究经验包括机器人技术、共同设计和个人制造。

在记忆增强界面方面的工作已发表在顶级HCI期刊和会议上，如CHI、IMWUT/Ubicomp、CSCW和ISMAR。

她将在2025年1月加入新加坡南洋理工大学（NTU）计算与数据科学学院，担任助理教授。

参考资料:

https://www.media.mit.edu/projects/ai-false-memories/overview/

https://arxiv.org/pdf/2408.04681