在使机器人能够将奖励最优化方面，研究者已经取得了进展，这给我们这些设计者带来了更多的压力，迫使我们在一开始就给机器人设定出能够优化的正确奖励。最初的想法是，无论我们想让机器人完成什么任务，我们都可以写下奖励函数以激励正确的行为。但很遗憾，经常发生的情况却是，我们明确了一些奖励函数，但优化后出现的行为却不是我们想要的。当直觉奖励功能与任务的非正常情况一起出现时，可能会出现非直觉行为。比如，在一个游戏中，机器人要在游戏中得分来获得奖励，在某些情况下，它发现了一个漏洞，利用这个漏洞它不需要真正赢得比赛就能得到无限多的分数。斯图尔特·罗素和彼得·诺维格在他们的《人工智能：一种现代的方法》一书中给我们提供了一个非常好的例子：根据吸尘机器人吸入的灰尘量来奖励它，结果这个机器人决定把灰尘都倒掉，这样它就能把这些灰尘再吸进去，以获得更多的奖励。
一般来说，人类很难确切地知道他们想要什么，所有那些神话故事都证明了这一点。机器人得到一些外部指定的奖励，但如果这些奖励不是人类经过认真思考后设定的，那么这样的人工智能模式就是不成功的。错误的奖励可能会激励机器人做出错误的行为，甚至抵制我们，不让我们纠正其行为，因为这将让它们得到较低的指定奖励。
显然更好的模式应该是让机器人优化我们的内在需求，即使我们自己都无法解释这些需求是什么。它们会根据我们的所言所行来推测我们想要什么，而不是只按字面上的意思理解，把我们想要之物当作一个给定的东西。当我们写下奖励函数时，机器人应该理解我们可能是错误的：我们可能没有把任务的各个方面都考虑进来，也不能保证奖励函数总是会使我们得到我们想要的行为。机器人应该把我们写下来的东西与它对我们想要的东西的理解整合在一起，同时它也应该和我们反复地探讨，使信息更明确澄清。它应该寻求我们的指导，因为这是优化真正的预期奖励功能的唯一途径。
即使我们将这种了解我们需求的能力赋予机器人，仍然遗留有一个重要的问题，仅靠人工智能本身无法回答。我们可以让机器人与人类的内在价值保持一致，但这里涉及的人不止一个。机器人可能有几个最终用户，比如照顾家庭的私人机器人、开车送几个乘客到不同目的地的自动驾驶汽车，或者为整个团队服务的办公室助理；它也可能有几个设计师；它与社会交互，例如自动驾驶汽车与行人、人类驾驶的汽车以及其他自动驾驶汽车共享道路。当这些人的价值观发生冲突时，如何将这些价值观结合起来是我们需要解决的一个重要问题。人工智能研究可以为我们提供工具，让我们可以以任何方式将价值观组合起来，但不能为我们做出必要的决定。
简而言之，我们需要让机器人能够对我们人类进行理性思考——不仅仅把我们看成障碍物或完美的游戏玩家。我们需要它们把人类的人性考虑进来，以便它们能更好地与人类配合，与我们的价值对齐。如果我们成功了，我们就一定会拥有能够大大提高生活质量的工具。
Just because AI systems sometimes end up in local minima, don't conclude that this makes them any less like life. Humans—indeed, probably all life-forms—are often stuck in local minima.
不要仅仅因为人工智能系统有时会陷入局部极小值，就断定这使它们变得不像真实生命。其实人类，可能也包括所有的生命形式，都经常被困在局部极小值的范围中。
克里斯·安德森
Chris Anderson
克里斯·安德森是一位企业家，《连线》杂志前总编辑，3DR公司的联合创始人和首席执行官，著有《长尾理论》（The Long Tail）、《免费》（Free）和《创客》（Makers）。
布罗克曼谈克里斯·安德森
克里斯·安德森的公司3DR帮助启动了现代无人机产业，现在则专注于无人机数据软件。开始时，他建立了一个名为“DIY无人机”（DIY Drones）的开放源码的空中机器人社区，也尝试了一些不明智的早期实验，比如他的一个自航间谍飞机在劳伦斯伯克利国家实验室嗡嗡作响。这可能是一个基因反常的案例，因为他是美国无政府主义运动的创始人的后裔。2001年到2012年，克里斯经营着《连线》杂志，该杂志发表了许多科技乌托邦和科技反乌托邦的文章；在他的任期内，该杂志五度获得美国国家杂志奖。
克里斯不喜欢“机器人学家”这个词——“像任何谦虚的机器人学者一样，我不这样称呼自己”。他起初是名物理学家。但他最近告诉我：“事实证明我是个糟糕的物理学家。我一直在挣扎着，我去了洛斯阿拉莫斯国家实验室，心里想：‘也许我不会成为诺贝尔奖得主，但我仍然可以当一名科学家。’所有那些搞物理的人，所有那些有着浪漫主义情结的人，那些以参加曼哈顿计划的费曼们为英雄的人都意识到，我们的职业生涯最好也只是在欧洲核子研究组织（CERN）从事一个项目15年。这个项目要么失败——结果就是没有写出任何论文；要么成功——这样的话，你将成为这篇论文的第300名作者，然后成为艾奥瓦州立大学的助理教授。”
“我的大多数同学都去华尔街当了金融工程师，次级抵押贷款就是这些人的功劳。其他人则在互联网上谋生。首先，我们建了一个因特网，把物理实验室都连接起来；然后，我们建立了网络；接下来，我们成为第一批做大数据的人。我们有克雷（Cray）超级计算机，虽然它的能力不及你现在手机的一半，但在当时它们是超级计算机。同时，我们在读一本名为《连线》的杂志，该杂志于1993年开始发行。我们意识到科学家们使用的这个工具可能适用于所有人。互联网不仅仅涉及科学数据，更掀起了一场令人惊叹的文化革命。因此，当康泰纳仕集团让我接管《连线》杂志时，我就说：‘绝对没问题！’这本杂志改变了我的人生。”
在接管杂志时期，他有了5个孩子，他们都是视频游戏玩家，正是他们使他进入“飞行机器人”领域。他辞去了在《连线》杂志的工作后，接下来便是在硅谷的日子。