为什么我们急于让自己过时，为什么我们避免谈论它呢？

第一，原因在于简单的经济学。每当我们想出如何通过制造更好更便宜的机器来使某种类型的人类工作过时，社会的大部分收益都是：那些制造和使用机器的人赚取利润，而消费者得到更便宜的产品。就像纺织机、挖掘机和工业机器人的出现使某种人类工作过时一样，对于未来通用人工智能的投资者和科学家来说，情况也是如此。过去，被机器取代的工人通常会找到新的工作，但即使情况不再如此，这种基本的经济刺激还将保持下去。根据定义，具有竞争力的通用人工智能的存在意味着所有工作都可以由机器完成，成本低廉得多，所以任何宣称“人们总是会找到新的高薪工作”的人，实际上是在宣称人工智能研究人员没有制造好通用人工智能。

第二，智人天生好奇，即使没有经济激励，这种好奇心也会激励人们做出科学探索来理解智能、发展通用人工智能。尽管好奇心是人类最著名的特性之一，但当它培养出我们尚未学会如何明智管理的技术时，便会引发问题。没有利润的刺激，只是纯粹的科学好奇心，使人类发现了核武器，发明了许多灾难性工具，所以古谚“好奇害死猫”也同样适用于人类物种，这并非不可思议。

第三，我们是终有一死的凡人。这就解释了为什么人们几乎一致支持开发新技术来帮助我们活得更长久、更健康，这有力地推动了当前的人工智能研究。很显然，通用人工智能可以更多地帮助医学研究。一些思想家甚至希望通过电子化或上传数据来寻求近乎永生。

因此，我们正在向通用人工智能急剧倾斜，强烈的动机使我们会继续向这个方向前进，即使从定义上来说该结果会导致我们的经济过时。我们将不再需要任何东西，因为所有的工作都可以通过机器更有效地完成。通用人工智能的成功创造将是人类历史上最重大的事件，可为什么很少有人认真讨论它可能会带来什么后果呢？

同样，原因很多。

第一，厄普顿·辛克莱（Upton  Sinclair）有句著名的讽刺：“当一个人靠对某事物的无知来赚钱的时候，让他理解这件事是有难度的。”(19)举例来说，科技公司或大学研究小组的发言人经常声称，他们的研究活动没有风险，即使他们私下里并不这样认为。辛克莱的这番言论不仅解释了人们对于吸烟和气候变化所带来的风险的种种反应，还解释了为什么有些人把技术视为一种新宗教，这种宗教的核心信条是更多的技术总是更好的，而反对者都是毫无头脑的煽动恐慌的卢德教徒。

第二，长期以来，人类总是充满了一厢情愿的想法、错误地从过去推断未来、一再低估新兴技术。达尔文的进化论使我们对具体威胁有强烈恐惧，却并不害怕难以想象的未来技术会带来的抽象威胁。想一想，1930年时，你试图警告人们未来的核军备竞赛会很危险，但那时你无法给他们看一个核爆炸的视频，甚至都没有人知道如何制造这种武器。即使是顶尖科学家也会低估不确定性，使得预测要么过于乐观（那些聚变反应堆和空中飞车在哪里？），要么过于悲观。欧内斯特·卢瑟福可以说是他那个时代最伟大的核物理学家，他曾说过核能是“痴心妄想”，说这番话时就在1933年，就在利奥·西拉特构思核连锁反应之前不到24小时。当时基本上没有人会预见到核军备竞赛的到来。

第三，心理学家发现，当我们认为无论如何我们都无能为力时，我们往往会避免去想令人不安的威胁。然而，在这种情况下，如果我们能开始思考这个问题，就可以做很多建设性的事情。



我们能做些什么？


我提倡做出战略转变，不再是“让我们快快创建一种让自己过时的技术——有什么可能会出错呢？”，而是“让我们设想一个鼓舞人心的未来，并朝着它迈进”。

为了激发前进所需的努力，这一战略开始时要设想一个诱人的目的地。虽然好莱坞的未来往往是反乌托邦式的，但事实是，通用人工智能可以使生活前所未有的繁荣。关于文明，我所热爱的一切都是智能的产物，因此，如果我们能用通用人工智能增强自己的智能，我们就有可能解决今天和明天最棘手的问题，包括疾病、气候变化和贫穷。对未来，我们能够做出的共同积极愿景越详细，就越有动力为实现这些愿景而共同努力。

我们应该做些什么？2017年所采用的23项阿西洛马原则为我们提供了许多指导，包括这些短期目标：

应避免致命自主武器的军备竞赛。

人工智能创造的经济繁荣应广泛共享，以造福全人类。

投资人工智能的同时还应该资助为确保其有益使用而进行的研究。比如，我们如何才能使未来的人工智能系统具有高度的鲁棒性，使它们在不发生故障或被黑客攻击的情况下做我们想让它们做的事情。(20)

前两个目标涉及不陷入次优纳什均衡。失控的致命自主武器军备竞赛一旦开始，将很难停止，它会将自动匿名暗杀的成本推向零。第二个目标需要扭转一些西方国家目前的趋势，在这些国家，从绝对意义上来说，许多人口变得更加贫穷，从而加剧了社会的愤怒、怨恨和两极分化。除非我们能够实现第三个目标，否则我们创造的所有奇妙的人工智能技术都可能会伤害我们，不管是意外的还是故意的。

人工智能安全研究必须在严格的期限内进行：在通用人工智能到来之前，我们需要弄清楚如何让人工智能理解、采纳和保留我们的目标。机器越智能、越强大，使它们的目标与我们的目标一致就越重要。只要我们制造的机器相对愚蠢，那么问题便不是人类的目标是否会占上风，而是在达到我们与机器目标一致之前，机器会造成多少麻烦。然而，如果制造出超级智能，那么情况就会反过来：因为智能就是实现目标的能力，所以超级智能人工智能从定义上来说，比起我们人类实现自己的目标，它更擅长完成它的目标，因此会占上风。

换句话说，通用人工智能的真正风险不是它的恶意，而是它的能力。一个拥有超级智能的通用人工智能将非常擅长完成它的目标，如果这些目标与我们人类的不一致，我们就有麻烦了。为修建水力发电大坝需要淹没蚁丘，对这件事，人类不会反复三思，所以我们不要把人类置于蚂蚁的位置。大多数研究人员认为，如果我们最终创造了超级智能，我们应该确保它是人工智能安全先驱埃利泽·尤德考斯基所称的“友好的人工智能”，其目标在某种深层意义上是有益的。

关于这些目标是什么的道德问题与实现目标一致的技术问题同样紧迫。例如，我们希望创造什么样的社会？即使严格地说我们的存在并不被需要，我们生活的意义和目的在哪里。对于这个问题，我经常会得到以下巧妙的回答：“让我们创造出比我们更聪明的机器，然后让他们找出答案！”这种回答错误地把智力和道德等同起来。智力没有善恶之分，从道德上来讲，智力是中立的。它只是一种完成复杂目标的能力，无论这个目标是好的还是坏的。我们不能断定如果希特勒更聪明的话，情况就会更好一些。事实上，将对道德问题的考虑推迟至创建出与人类目标一致的通用人工智能，这是不负责任的，很有可能也是灾难性的。一个完全顺从的超级智能，它的目标自动与人类所有者的目标一致，这样的超级智能就像纳粹党卫军一级突击队大队长阿道夫·艾希曼（Adolf  Eichmann）(21)一样。如果没有道德的指南或自身的约束，它就会以无情的效率，实现所有者的目标，不管这些目标会是什么。(22)

每当我说需要分析技术风险时，就会有人说我危言耸听。但在我工作的地方，麻省理工学院，我们知道这样的风险分析并不是危言耸听：它是安全工程。在登月任务之前，在把宇航员放在装满高度可燃燃料的110米火箭的顶部，把他们发射到一个没有人能帮助他们的地方之前，美国国家航空航天局会系统地把一切可能出错的事情都考虑全面——很多事情都有可能会出错。这是危言耸听吗？不，这是确保任务成功的安全工程。同样，我们应该分析人工智能可能会出什么问题，以确保它能正常运行。