【猎云网（微信号：ilieyun）】11月7日报道（编译：Halcyon）

文章的扫尾，先抛出一个成绩：各人在玩电子游戏的时分，一门心思投入出来，会发明本身基础停不上去，是什么缘由招致的呢？

这个成绩能够有些广泛，无法给出一个确切的答案。但假如你想要把接新义务，晋级或许再玩一把等一系列归纳综合起来，最复杂的解释就是“猎奇心”——只是想看看接上去会产生什么。现实证明，在指点人工智能玩电子游戏时，猎奇心是一个十分无效的动力。

非营利人工智能研讨公司OpenAI本周公布的一项研讨解释了一个具有猎奇心的AI agent如何霸占经典的1984 Atari游戏Montezuma's Revenge。纯熟掌握Montezuma's Revenge算是人工智能的一大提高，但不克不及将其同等于打败Go或Dota 2的里程碑。谷歌旗下的人工智能公司DeepMind2015年公布了一篇创始性论文，解释AI假如经过深度学习在许多Atari游戏里取得高分，击败弱小的人类玩家，其中Montezuma’s Revenge是独一一款得分为0的游戏，算法未能学习如何去玩这个游戏。

游戏难度高的缘由在于它的操纵方法与AI agent学习的方法不婚配，这也提醒出机器学习存在盲点。

要想AI agent掌握电子游戏的玩法，通常需借助强化学习的训练要领。在这种训练中，agent会被放入虚拟世界，而且会由于某些后果而取得奖励（如添加分数），或是遭到处罚（如得到一条命）。AI Agent开端随机玩游戏，且能学会在重复实验之后革新其计谋。强化学习通常被看作是构建智能机器人的要害要领。

Montezuma's Revenge的成绩在于它不克不及为AI agent提供按期奖励。这是一个益智类游戏，玩家必需探究地下金字塔，规避圈套和仇人，同时搜集解锁门和特殊物品的钥匙。假如你正在训练AI agent霸占这款游戏，可以在它在世经过各个房间并搜集钥匙时赐与其必然的奖励。但是你该如何教他生存其他物品的钥匙，并运用这些物品来克制圈套并完成关卡呢？

答案就是：猎奇心。

在OpenAI的研讨中，他们的agent取得奖励不但仅是由于跳过尖峰，还为了探究金字塔的新板块。探究新板块的猎奇心是一大动力，也促进了agent在游戏中优于人类的体现，机器人在9次闯关中均匀得分10000（人类均匀得分4000）。OpenAI称，在一次运转中，agent甚至经过了第一关。

OpenAI的Harrison Edwards报告The Verge：“我们目前曾经开收回一个可以探究少量房间，取得少量奖励，偶然还能闯沈阳网站建设过第一关的零碎。”并增补道，游戏的其他关卡跟第一关相似，游戏通关“只是工夫成绩。”

霸占“NOISY TV PROBLEM”

OpenAI并非第一家实验这种要领的实验室，AI研讨人员几十年来不断在应用“猎奇心”的观点作为诱因。他们之前也曾将此使用于Montezuma’s Revenge，但假如没有指点人工智能从人类的例子中学习，就不会如此乐成。

但是，虽然这里的普通实际曾经确立，但构建特定处理方案依然具有应战性。例如，基于预测的猎奇心仅在学习某些类型的游戏时有用。它适用于马里奥这类游戏，游戏历程中探究空间大，关卡设置多，且充满着从未见过的怪物。但对付Pong这种复杂游戏，AI agent更情愿打长期战，而不是真正击败他们的敌手。（或许是由于博得角逐比游戏中球的途径更好预测。）

另一个实验是“Noisy TV problem”，实验中已被编程为寻觅新体验的AI agent着迷于随机形式，例如调谐至静态乐音的电视。这是由于agent对“风趣”和“新”的觉得来源于他们预测将来的才能。在接纳某种举动之前，他们会预测游戏之后的状况。假如他们猜对了，很能够是他们之前曾经看过这个关卡了。这种机制被称为“预测错误”。

但由于静态噪声是不成预测的，实验中AI agent被放出神宫中，义务是找到奖励最高的物体。情况中另有一台电视，电视上的频道可由遥控器随机转换，由于每次换台的后果是不成预测的、令人诧异的，面对这样电视（或相似不成预测的安慰），AI agent变得非常迷惑。OpenAI将这个成绩与着迷于老虎机的人类赌徒停止了比力，人们不晓得接上去会产生什么，所以不舍得就此分开。

OpenAI的这项新研讨经过改动AI预测将来的方法巧妙地逃避了这个成绩。精确的要领（称为Random Network Distillation）非常庞大，Edwards和他的同事Yuri Burda将其解微信小程序开发释为在游戏的每个界面中设置一些隐藏信息，等着人工智能去发掘。这个隐藏义务是随机的，无多粗心义（Edwards建议道，比如说“屏幕左上角的颜色是什么？”），但可以鼓励agent持续探究游戏，而不会让它太过容易地遭到乐音电视圈套的影响。

值得留意的是，这个鼓励要素并不需求少量的计算，这点十分重要。强化学习的要领依赖少量数据来训练AI agent，所以训练中的每一步都需求尽能够疾速的完成。

来自Unity的软件工程师Arthur Juliani，同时照旧一位机器学习方面的专家，他表现，这正是OpenAI研讨事情的亮点所在。Juliani报告The Verge：“OpenAI运用的要领十分复杂，却十分无效。纵不雅已往使用于游戏的探究要领，庞大不足，且根本上没有给科技圈带来几多印象深入的后果，比拟起来，OpenAI的要领就复杂得多了。”

Juliani表现，鉴于Montezuma’s Revenge差别关卡之间的类似性，OpenAI目前完成的事情根本上同等于霸占整个游戏了。但他增补道：“现实上，他们无法确保每次都能闯过第一关，这意味着依然存在一些应战。”Juliani还想晓得OpenAI的要领能否适用于3D游戏，3D游戏的难度相较其他能够更大，视觉特征越发奇妙，且游戏中第一人称视角遮挡了大部门界面。

“3D游戏里，在需求探究的情形中，情况各部门之间的差别更为奇妙，这种要领的实践体现能够不会太好，”Juliani说到。

猎奇心

但是为什么我们首先需求具有猎奇心的AI呢？具有猎奇心的AI跟人类一样，很容易着迷于随机形式。

最大的缘由是猎奇心有助于计算机停止自我学习。

如今被遍及接纳的机器学习要领大抵可分为两个阵营：第一种，机器经过阅读少量数据来学习，并计算出可以使用于相似成绩的形式；第二种，机器被投入情况中，应用强化学习要领取得某些成绩，从而取得奖励，也就是用奖励安慰的方式促使机器学习。

这两种要领在特定义务中都是无效的，但并非完全依托机器本身停止，无论是标志培训数据照旧为虚拟情况设计奖励功效，都离不开少量的人工。经过为人工智能零碎提供探究的内在诱因，一些事情被消弭，人类无需像从前一样耗费过多精神在机器学习上，在诱因的安慰下，机器可以自主学习。

OpenAI的Edwards和Burda表现，这种猎奇心驱使的学习零碎比起设计开发在理想世界中运转的计算机步伐要好得多。究竟，跟Montezuma’s Revenge一样，实践生活中，即时奖励往往很少，我们都需求长工夫事情、学习和探究才气失掉报答。猎奇心能资助我们持续行进，或许也可以资助计算机。