尽管能够做出这种预言令人震惊，但最初宣扬的人工智能风险信息有一个巨大的缺陷，就像当前主导公众话语的版本一样：既大大低估了问题的严重性，也低估了人工智能的潜在优势。换言之，这条信息并不能充分表达游戏的利害关系。
维纳的警告主要指社会风险，也就是由于粗心地将机器生成的决策与管理过程合在一起以及人类滥用这种自动化决策而产生的风险。同样，目前关于人工智能风险的“认真”的争论主要集中在技术性失业或对机器学习的偏见上。虽然这样的讨论可能是有价值的，也能解决迫在眉睫的短期问题，但他们的论点之狭隘令人惊讶。我想起了尤德考斯基在博客上的一句俏皮话：“询问机器超级智能对传统劳动力市场的影响就像询问美中贸易模式将如何受到月球撞击地球的影响。确实会有影响，但你没有抓住要点。”
在我看来，人工智能风险的核心在于超级智能人工智能是一种环境风险。请允许我解释一下。
在他的“感知力水坑寓言”中，道格拉斯·亚当斯（Douglas Adams）描述了一个水坑，这个水坑早晨醒来，发现自己在一个“特别合身”的洞里。根据它的观察，这个水坑认为这一定是为它量身定做的世界。因此，亚当斯写道：“它消失的那一刻让它大吃一惊。”认为人工智能的风险仅限于会带来不利的社会发展，就是犯了类似的错误。严酷的现实是：宇宙不是为我们而生的，相反，我们需要进化以适应非常狭窄的环境参数。例如，我们需要地面上的大气大致保持在室温，维持大约100千帕的压力，并有足够的氧气浓度。这种不稳定的平衡出现任何紊乱，哪怕只是暂时的，我们都会在几分钟内死去。
基于硅的智能并没有这种对环境的担忧。这就是为什么用机器探测仪探索空间要比用“肉罐头”便宜得多。此外，对于超级智能人工智能最关心的高效计算来说，地球目前的环境几乎肯定不是最佳选择。因此，我们可能会发现我们的星球突然从人为的全球变暖转为机械化的全球冷却。人工智能安全研究需要解决的一个重大挑战，是如何使未来的超级智能人工智能——一种比我们人类的碳足迹大得多的人工智能，不要把我们的环境变得不适合生物生存。
有意思的是，鉴于人工智能研究和人工智能风险规避的最强有力的资源都在大公司的保护之下，如果你眯起眼睛看得足够仔细，你会发现“人工智能是环境风险”这一信息看起来像是对公司逃避其环境责任而产生的长期担忧。
相反，对人工智能的社会效应的担忧也使我们忽略了它所带来的大部分益处。与人类的全部潜能相比，这个星球的未来是多么渺小和狭隘，无论怎么强调都不为过。按照天文学的时间尺度，我们的星球很快就会消失（除非我们驯服太阳，很明显这也是有可能的），而维持文明长期运转的几乎所有资源，也就是原子和自由能量，都处于深空之中。
纳米科技的发明者埃里克·德莱克斯勒（Eric Drexler）最近一直在推广“帕累托托邦”（Pareto-topia）的概念：如果做得对，人工智能可以给我们带来这样一个未来——在这里，每个人的生活都得到极大改善，没有人是失败者。这里的一个关键认识是，使人类无法实现其全部潜能的主要阻碍可能是我们本能的感觉，我们本能地感到自己处在一个零和博弈中。在这个博弈中，玩家应该以牺牲他人为代价来维持小胜。这样的本能在一个“游戏”中被严重误导且具有破坏性，在这个游戏里一切都是赌注，而回报简直就是天文数字。我们银河系中的恒星系统比地球上的人口要多得多。
希望
在撰写本文时，我谨慎乐观地认为，人工智能风险信息能够拯救人类免于灭绝。截至2015年，已有40%的人工智能研究人员了解并接受了这一信息。如果现在一项新的调查显示大多数人工智能研究人员认为人工智能安全是一个重要问题，我不会感到惊讶。
我很高兴看到第一批技术性人工智能安全论文出自DeepMind、OpenAI和Google Brain，我也很高兴地看到在这些竞争非常激烈的人工智能安全研究团队之间，协作解决问题的精神正在蓬勃发展。
世界政治和商业精英也正在慢慢觉醒：电气和电子工程师学会（IEEE）、世界经济论坛以及经济合作与发展组织（OECD）的报告中，都涉及人工智能安全。中国于2017年7月发布的《新一代人工智能发展规划》中，也包括了关于“制定促进人工智能发展的法律法规和伦理规范”以及“建立人工智能安全监管和评估体系”的专门章节，以便增强风险意识。我非常希望，世界上新一代的领导人把人工智能控制问题和人工智能理解为终极的环境风险，希望他们能够超越通常的部落思维与零和博弈，引导人类越过这些危险地带，从而打开通往太空的道路。它们已经等待我们几十亿年了。
这就是我们未来的10万年！即使你的声音颤抖，也要毫不犹豫地说出真相。
There is no law of complex systems that says that intelligent agents must turn into ruthless megalomaniacs.
没有任何一个复杂系统定律表明，智能主体一定会变成无情的自大狂。
史蒂芬·平克
Steven Pinker
史蒂芬·平克，哈佛大学心理学系约翰斯通家族讲席教授，实验心理学家，从事视觉认知、心理语言学和社会关系研究。他共著有11本著作，包括《白板》（The Blank Slate）、《人性中的善良天使》（The Better Angels of Our Nature），以及最近的《当下的启蒙》（Enlightenment Now: The Case for Reason, Science, Humanism, and Progress）。
注：史蒂芬·平克的著作《当下的启蒙》《白板》《心智探奇》《思想本质》《语言本能》中文简体字版已由湛庐文化策划，浙江人民出版社出版。——编者注