“夏延”等超级计算机——足够智能的、可绘制未来100年气候变化影响路径的计算机——的发展让我们获得了两种远见：在它们的帮助下，我们可以预测气候在未来的变化情况，并可在时下的能源使用和碳足迹问题上做出更好的决策；它们预测出了人工智能的长期发展趋势，而在未来的几个世纪里，这些趋势可能会对我们的生存产生威胁。面对摩尔定律（Moore’s law）的上升轨迹和机器学习的最新进展，很多科学家和技术专家认为我们必须要认真面对一个新的全球问题，即如何应对“超级智能”机器的潜在威胁。如果计算机达到了一定的智能水平，在诸如复杂刑事案审判等微妙决策上的表现超过了人类，那么几乎可以肯定的是，它们是由进化算法设计出来的。而在进化算法中，代码遵循的是达尔文自然选择的超加速版本。人们编写一些原始代码块，而系统则以极快的速度对随机变异进行试验，选取可提升机器智能水平的变体，并产生新的代码“物种”。在经过足够多的运行之后，机器将会走向智慧成熟，以至于任何人类程序员都无法弄清它们是如何变得如此聪明的。近年来，包括比尔·盖茨、埃隆·马斯克和斯蒂芬·霍金在内的越来越多的科学家和技术领域的领导者已经敲响警钟，表示超级人工智能可能会对人类的生存造成潜在威胁。
这些都表明，我们正面临一个决定：我们是否允许超级智能机器的存在？在这个问题上，我们所做决策的方式，很可能像那些决定填埋集水池的纽约居民或工业时代那些决定向大气中大规模排放碳的投资者一样。换句话说，我们会以一种完全无组织的、由下而上的方式做出决策，根本不做任何长期考虑。我们会不断追求更智能化的计算机，因为从短期来看，它们更擅长安排会议日程，更擅长建立健身计划，更擅长驾驶汽车。但这些选择不会反映超级智能机器给我们带来的潜在的长期威胁。
为什么这些机器如此危险呢？要理解这种威胁，你就需要摒弃人类在智力测度上的一些偏见。正如人工智能理论学家埃利泽·尤德科夫斯基（Eliezer Yudkowsky）所指出的，人类有“一种倾向认为‘乡下白痴’和‘爱因斯坦’处于智力量表的两个极端，而不是一般智力量表中两个近乎难以区分的点”。比如，在老鼠看来，乡下白痴和爱因斯坦都是高深莫测的聪明者。在人工智能研究的头几十年里，我们大多梦想着能打造出具有乡下白痴智力水平的机器，或者可达到最高水平即爱因斯坦智力水平的机器。但正如哲学家尼克·波斯特洛姆（Nick Bostrom）和尤德科夫斯基所言，我们没有理由认为爱因斯坦式的顶峰就是一个绝对的上限。“我们远不是最聪明的生物学物种，”波斯特洛姆写道，“应该将我们看作在有能力开创技术文明的生物学物种中最愚蠢的一种——我们之所以占有有利位置，是因为我们最先到达了这个位置，而绝不是因为我们最适应这个位置。”基于递归算法和自我学习算法，第一个真正意义上的人工智能的智力水平或许会超过“爱因斯坦顶峰”，达到远超我们想象的水平。
波斯特洛姆和霍金等人所感知到的危险，看上去与标准的科幻小说版本并不一样。第一，人工智能完全没有必要拥有意识［或者是第一部《终结者》（Terminator）影片中所说的“自我意识” ］。一个超级人工智能或许会具备另外一种不同的意识，一种完全不同于我们的意识。但它也可能是一个庞大的无生命知觉的计算集合体，具备表达、行动和长期规划能力，但却缺乏自我感知。第二，人工智能未必会突然转向邪恶的、有报复心的或变得野心勃勃（或其他任何拟人化情绪），以至于要摧毁人类文明。比如，波斯特洛姆在其力作《超级智能》（Superintelligence）中基本没有把机器想象成邪恶霸主；相反，他担心的是在定义人工智能的目标或动机时，小的错误传达可能会导致全球大转变乃至宇宙大转变。设想一下，你正按照一个看似无害的目标进行人工智能编程，比如这个目标是边沁的“最大多数人的最大幸福”。你把它设定为最高价值，然后让机器决定达成该目标的最佳方法。人类幸福的最大化可以说是一个完美的、值得称许的目标，但人工智能很可能会导致这样一种场景出现——虽然从技术上讲已经达成目标，但它完全不是人类所能接受的：人工智能可能会在地球上每个人的大脑中置入纳米机器人，以此永久刺激人的快感中枢，将我们变成笑哈哈的僵尸。在被要求就一些环境危机提出最佳应对策略时，危险则是另外一种情景：人工智能会积极地违背我们的意愿，并通过黑客手段侵入国防部网络，然后引爆全部核武库，因为它已经进化出了一些固有的邪恶性或征服欲。这种威胁就在于，我们让它寻找解决某一环境危机的最优方案，照此指令，它决定消灭该危机的“罪魁祸首”——我们，而这种情况的出现，就是因为我们在设定目标时没有设置一个足够明确的框架。
关于超级人工智能的讨论，大多集中在所谓的“遏制问题”上。关于这个问题，在亚历克斯·加兰（Alex Garland）执导的影片《机械姬》（Ex Machina）中有精彩探讨：如何将人工智能收入瓶中，但同时又能利用它的威力？也就是说，人类能否设计出一个具有超高智慧但又完全受控的、安全的人工智能，它能避免因指令失控而导致全球灾难。在波斯特洛姆令人信服的陈述中，这个问题比它乍看上去难得多，主要原因就是我们总把自己想得太聪明了，这种假想的智力水平比自身的真实水平高几个数量级。遏制人工智能的想法就像老鼠图谋影响人类技术进步，从而阻止人类发明捕鼠器一样，徒劳无功。
从某种意义上讲，目前我们在超级智能议题上所处的位置同20世纪80年代末我们在全球变暖议题上所处的位置大致相当：一小部分科学家、研究人员和公共知识分子基于当前的趋势推算，预测未来会发生一场波及数代人的重大危机。波斯特洛姆的调查显示，大多数人工智能研究团体认为超越人类智力水平的人工智能至少要到50年后才可能出现。
在一场充斥着世界末日情景的辩论中，跨世代的时间跨度可能是最给人希望的一个因素。鉴于全球变暖产生的重大威胁，气候倡导者经常抱怨政治和企业改革进展缓慢。但我们应当提醒自己，在气候变化这个议题上，我们正尝试做出一系列可以说是人类历史上从未有过的决策：确定什么样的监管和技术干预措施可以阻止一种在未来几十年乃至更长时间里不会对大多数人产生重大影响的威胁。尽管“系统1”存在种种偏见和直觉飞跃，但人类智能的特征之一是“系统2”的长期决策能力，即为实现更长远的目标而做出短期牺牲的能力，或者说是“未人”的规划能力和前瞻性思维。我们在这方面虽然无论如何也称不上完美无瑕，但却超过地球上其他任何物种。不过，我们从未使用过这些决策技能去着力解决一个尚不存在的问题——一个我们基于当前趋势判断，会在遥远的未来出现的问题。
当然，我们已经做出过决策，也根据这些决策设计了很多新奇的工程，而且目标明确，就是要让它们持续存在若干个世纪：金字塔、王朝、纪念碑、民主制度。有些涉及基础设施的决策——比如荷兰的堤坝系统或日本旨在防御海啸的建筑规范等——预见的是未来一个世纪乃至更长时间内都可能不会发生的威胁。不过，这些威胁并不是从未有过的新威胁：这些文化之所以担心洪水和海啸，是因为当地的人们早先有过相关经历。有些决策，如民主治理，是在规范和惯例中引入弹性和灵活性，明显是为解决一些尚未被发现的问题。但就长期规划中的这些活动而言，它们大都只是为了维持当前的秩序，而不是为了做出抢占式的选择，以保护我们免受三代人之后可能爆发的威胁的影响。在某种程度上，与当前气候干预议题（以及越来越受关注的人工智能议题）最相近的类比是末世论：按照宗教传统，我们被鼓励依据预期的“审判日”（Judgment Day）做出当下的决定，而这个审判日可能在几十年乃至几千年后才会到来。
同气候变化一样，我们也在用超级智能做新的尝试。我们正积极思考我们在做的选择，以便在50年后能够取得更好的结果。但超级智能是一项更具野心的事业，因为我们预见的问题同今天的现实完全不同。气候变化迫使我们去想象一个气温比现在升高了几摄氏度的世界，去想象持续时间更长的干旱、更猛烈的风暴等。在谈论全球变暖时，我们说它正在“摧毁地球”，但这是一种夸张的说辞：即便我们没有采取任何应对气候变化的行动，这个星球也会很好地继续存在。就算是最坏的情况，地表温度升高5摄氏度，智人作为一个物种也能够生存下来——当然这会带来巨大的痛苦和高死亡率。而真正意义上的超级智能机器则极有可能给我们带来灭绝性的威胁，比如它们有能力制造可自我复制的纳米机器，而这些机器最终可能会毁灭所有碳基生命。但在我们当前的环境或我们的历史中，还没有出现过可与之相提并论的威胁。我们必须发挥想象力。
讲故事作为一个关键工具，一直被我们用来训练大脑，使其在做重大决策时做出更好的选择。有趣的是，作为讲故事的形式之一，科幻小说在部分大规模群体决策中扮演了与情景规划类似的角色。“整体来看，这种科幻叙事方式还是比较新的。”作家及未来学家凯文·凯利（Kevin Kelly）表示，“我们现在已经接受我们的孙子孙女辈的世界同我们的世界是显著不同的——以前我们并不这么认为。我认为这是科幻小说的功劳。解析、辩论、排演、质疑，并让我们为新的未来做好准备。至少一个世纪以来，科幻小说一直在预测未来……过去有很多新发明在出现之后被法律禁止了。但在这些新发明出现之前，我对它们一无所知。我认为这是一种文化的转变——科幻小说从过去的娱乐转变为现在的基础设施，它成了一种必要的预测方法。”科幻小说叙事在人工智能的隐患和陷阱问题上已经思考至少100年了——从H. G.威尔斯的“全球脑”到“哈尔9000”（HAL 9000）超级计算机，再到《机械姬》，但在现实世界中，就这个问题开展对话和争论不过短短几年。这些小说让我们更清楚地看到了问题，这有助于我们审视这种技术的有限理性的局限。毋庸置疑，超级智能机器以我们难以想象的速度运行集成模拟，最终会超过人类智能。如果我们知道它们将毁灭人类生活，但却成功地避免了这种情况的发生，那么部分功劳将归于科幻小说——正是它们那种慢得多的情景模拟，让我们更清楚地看到了这种威胁的存在。
现代社会的变革步伐越来越快。当前关于人工智能及其潜在威胁的辩论，有点儿像19世纪初的一群发明者和科学家坐在一起说：“工业革命必然会提升我们的生产率，从长期来看，也必然会提升我们的生活水平。但同时，我们也会向大气中排放大量的碳，而在几个世纪之后，这些碳可能会成为我们面临的难题。所以，我们必须考虑如何避免这一问题的发生。”但这种对话并没有发生，因为我们没有可测量大气中碳含量的工具，没有可帮助我们预测碳将如何影响全球气温的计算机模拟图，没有应对其他工业污染物的历史经验，没有负责监控气候和生态系统变化的政府机构和学术机构，也没有设想新技术在某种程度上会改变全球天气模式的科幻小说。我们足够聪明，比如有能力发明燃煤发动机，但同时又不够聪明，比如未能预测它们对环境的最终影响。
关于人工智能的辩论表明，我们在做富有远见的决策方面已经取得了长足进展。所有那些帮助我们识别气候变化威胁或帮助我们设想人工智能大灾变的工具、传感器和叙述，共同组成了一种新的超级智能。
“我们像神一样，”斯图尔特·布兰德在半个世纪前写下了这句广为人知的话，“我们也可能会扮演好这一角色。”在过去近300年的碳基工业时期，我们确实在这个星球上培养和发展出了神一般的能力。但我们是否扮演好了这一角色呢？或许还没有。不过，我们有很强的快速学习能力。在全球问题上，我们所做决策的时间跨度远超我们的直系祖先的想象。诸如巴黎气候协定这样的全球性长期决策仍会面临挑战，这个事实是无法避免的：作为一个个体，对未来50年做规划已经很难了，而作为一个社会，这种规则就难上加难了。但仅仅是这些争论的存在，比如人工智能、气候变化和METI等议题，就已表明我们正开始探求新的远见。单就人工智能而言，关于未来威胁的所有预测可能最终都会被证明是错误的，而究其原因，要么是真正意义上的人工智能极难实现，要么是我们发明了新的技术，可以在超级智能机器超越“爱因斯坦顶峰”之前将危险降到最低限度。但如果人工超级智能最终对人类的生存构成了威胁，那么我们的最佳防御策略或许就是运用人类超级智能所掌握的新能力：绘图，预测，模拟，从长计议。