来源：科技日报；记者 华凌

记住一些东西并能回忆起来，对于人类来说司空见惯。而有了记忆，可以让我们对过往之事做出理智判断，并基于此，对未来做出决策。能否让AI智能体也做到这点呢。近日，DeepMind提出一种方法，让智能体使用特定的记忆，来信任过去的行为，并对未来做出正确的决策。相关成果发表于最新的《自然·通讯》上。

那么，目前我们所说的让AI产生回忆和人类的回忆是一回事吗；究竟人工智能可以用什么方法产生回忆，文中涉及判断和对过去行为的价值评估(评估信用分配)等问题，有哪些技术解决途径；与以往相比，此次DeepMind提出的新方法有何不同，让人工智能怎样学会回忆，达到怎样的效果；让人工智能会回忆，基于目前的办法，我们尚需做哪些努力？

AI产生的“回忆”与人类的是一回事吗

在现实中，多数让我们记忆深刻的，往往痛苦的事情多于快乐，好像受伤、不高兴事的记忆沟痕更深。这让人想起雨果的话——幸福的家庭都是相似的，不幸的家庭却各有各的不幸，也许这种感慨是记忆使然。

而在记忆当中，那些感动我们的人或事往往会触发回忆，所谓触景生情。“就人类长期记忆而言，实际上记忆本身是呈多模态、场景化的，对于到过哪里做过什么事，存储包含多维度，触发某个维度时即可快速找到线索。而人们往往高估了记忆量，其实容量很有限，人类记忆本身非常高度抽象，对特征的提炼，其中有好多要素是概况和模糊状的，如回忆电影，不会精准的一点一滴完整成像，但再现类似场景时，也许某个特定标识，就会回想起之前的一幕。”远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者时指出。

记忆对人类而言，究竟有何作用？据介绍，记忆是我们对人脑中的信息和过去的经历进行编码、存储，保留和随后回忆的能力。一般而言，可以将其视为利用过去的经验来影响当前的行为。记忆使人类能够学习和适应以前的经验以及建立关系，是记忆过去经验的能力，以及使人想起以前学到的事实、经验、印象、技能和习惯的能力或过程。它是从我们的活动或经验中学到并保留下来的东西，通过结构或行为的改变或回忆和认可来证明。

目前，我们所说的让AI产生回忆与人类的是一回事吗？谭茗洲答道，“目前AI记忆仍只是停留在将学习将所获得的信息被编码、存储，进而转化认知的过程。以前的做法只是把所发生的一切悉数存储，然而记忆与存储有区别，记忆是为了能够有效回忆。回忆检索的方式，往往是跨各种阈界的，如通过某个品牌忽然想起某个事。由此，让AI智能体对过去所发生的一些事情，判断该不该记忆，关键要采取一些方法令其做出评定，达到人类回忆或记忆的效果。”

采用什么高招让AI产生些许“记忆”

在以往的研究中，采用什么高招可以让AI产生些许回忆？

谭茗洲介绍说，比较常用的有四种方法：1.长短期记忆网络，是由一个被嵌入到网络中的显性记忆单元组成，功能是记住较长周期的信息。这一技术主要被谷歌、亚马逊和微软等公司在使用，用于语言识别、智能助手和属性增强的应用。2.弹性权重巩固算法，这是从神经科学中借来的概念，用来评估联结的权重，而这些权重主要是通过早期任务的重要性来评估。这种算法用于序列学习多种游戏。DeepMind采用的就是这种与记忆巩固有关的算法，目的是让机器学习、记住并能够提取信息。3.可微分网神经计算机，特点是将神经网络与记忆系统联系起来，可以像计算机一样存储信息，还可从例子中进行学习。4.连续神经网络，主要用于迷宫学习，解决复杂的连续性任务，同时可以迁移知识，代表不会忘记此前所学的重要信息并利用先验知识的尝试（这依然是实现人类水平智能中的一大难题）。

“要让AI能够实现回忆过去的事情，涉及到判断和对过去行为的价值评估（评估信用分配）的问题。但现有的评估信用分配的方法，无法解决与结果存在长时间间隔的任务。简单来说，就是未来不可期。”谭茗洲指出。

据介绍，人工智能的研究中，在一个长序列内评估个人行为的效用问题，被称为信用分配问题。该评估可以对过去的行动或计划的未来行动进行评分。

谭茗洲解释道，“具体在强化学习中，智能体获得指导的唯一途径是通过奖励，而奖励通常是稀疏和延迟的。当智能体得到奖励时，很难知道哪些行为应该被信任，哪些该被责备，这就是信用分配问题。” 

DeepMind的论文呈现打游戏过程中的简单场景，让AI智能体对探索过的路径及攻略进行记忆，当然与人类复杂的记忆机制相比，这是相当初期的阶段。

让AI在“记忆”中来场旅行

让AI像人类那样产生回忆，还需要怎么做？

谭茗洲介绍道，首先，需要让AI学会情景记忆（表征一个人过去的知识）以及自传式记忆。之所以AI很难做到这点，是因为情景记忆和自传式记忆有着非常强的个体体验特性，又涉及到过去的时间性。情景记忆与自传式记忆一旦和当事人割裂开来，就失去了生命力。对于机器而言，这很难想像。毕竟在机器那里，我们所能看到的是无处不在的二元分离，精神可以独立于物质存在，体验可以独立于主体存在。

再有，防止可能出现的灾难性遗忘。认知心理学研究表明，人类自然认知系统的遗忘并不需要完全抹除先前的信息。但是，对于机器而言，遗忘就是灾难性的，即需要抹除先前的信息。

如何让智能体“未来可期”？据谭茗洲介绍，此次DeepMind提出将范例建立在深入的强化学习基础上，并引入长期信用分配的原则。首先，智能体须编码并存储感知和事件记忆；然后，智能体须通过识别和访问过去事件的记忆来预测未来的回报；再有，智能体须根据其对未来奖励的贡献来重新评估这些过去的事件。这样可让智能体使用特定的记忆来信任过去的行为，并对未来做出正确的决策，从而实现让AI在其“记忆”里来场旅行。

为了做到这一点，DeepMind论文显示，其做的首要工作是形式化任务结构，主要包括两种类型的任务，以达到任务设置和重构记忆智能体（RMA）。由于提出解决方案的一个关键组成部分涉及记忆编码和提取，研究人员将每个任务中的三个阶段分别视作：动作和记忆提取、干扰物和经验。

具体而言，在第一种信息获取任务中：一阶段，智能体须在无即时奖励情况下探索一个环境来获取信息；二阶段，智能体在很长一段时间内从事一项不相关的干扰任务，并获得许多附带奖励；三阶段，智能体须利用一阶段中得到的信息获取远端奖励。

在第二种因果任务中：一阶段，智能体须采取行动触发仅具有长期因果关系的某事件；二阶段，同样是一个干扰任务；三阶段，为了取得成功，智能体须利用一阶段活动引起的环境变化来获得成功。

而在研究这种结构的完整任务之前，研究人员考虑让智能体实现一个更简单被动过程的任务——“被动视觉匹配”，即智能体不用采取任何主动措施去采集信息，如同一个人在街上走路，不经意间就观察到某些信息一样。

最后，谭茗洲强调，正如论文所述，新方法的范式拓宽了AI研究的范畴。这是一个有趣的话题，涉及人脑科学的研究，以及神经科学、心理学和行为经济学等多学科交叉研究的尝试，今后还有很长的路要走，需要更多开放性的探索。