David Deutsch
戴维·多伊奇是量子物理学家，也是牛津大学克拉伦登实验室的量子计算中心的成员。著有《真实世界的脉络》（The Fabric of Reality）和《无穷的开始》（The Beginning of Infinity）。
布罗克曼谈戴维·多伊奇
当今科学中最重要的发展，也就是那些影响地球上每个人生活的发展，是关于软件和计算的，软件和计算的进步为这些发展提供信息，这些发展也因软件和计算的进步而成为现实。这些发展的核心是物理学家戴维·多伊奇，他是量子计算领域的创始人。他在1985年发表的关于通用量子计算机的论文首次全面论述了这一课题，Deutsch-Jozsa算法是第一个证明量子计算巨大潜力的量子算法。
当他最初提出这一概念时，量子计算似乎是完全不可能的。但是，如果没有他的工作，简单的量子计算机和量子通信系统的建构永远不会发生爆炸式发展。他还对量子密码学和量子论的多元宇宙诠释做出重要贡献。在一篇与阿图尔·埃克特（Artur Ekert）合写的哲学论文中，他让大家注意到一个独特的量子计算理论的存在，并声称我们的数学知识源于物理知识，是物理知识的附属（即使数学真理独立于物理）。
因为他的大部分工作都在改变人们的世界观，所以同行把他当作知识分子的认可远远超出对他的科学成就的认可。追随卡尔·波普尔（Karl Popper）的观点，他认为科学理论是“大胆的猜想”，不是从证据中得出的，而是通过证据来检验的。他当时的两条研究主线，即量子位场理论和构造函数理论，对计算思想的发展起到了重要作用。
在下面的文章中，他或多或少地赞同那些认为相当于人类水平的人工智能会为我们带来一个更好的世界而不是末日的人的观点。事实上，他希望通用人工智能能拥有自己的头脑，可以自由地做出假设，这个提议在本书的其他几个撰稿人看来是非常危险的举动。
刺客甲：
我们也是人哪，陛下。
麦克白：
是啊，说起来你们也算是人；
就像猎狗和灰猎狗、杂种狗、长毛矮脚猎狗、恶狗、哈巴狗、水狗和狼狗一样，统统都叫狗。
威廉·莎士比亚《麦克白》
纵观人类物种的大多数历史，我们的祖先几乎都无法称之为人。这不是因为他们的大脑有任何缺陷。相反，即使在解剖学意义上的现代人类亚种出现之前，我们的祖先就能利用基因中并不具备的知识来制造衣服、点燃篝火等。这些知识是通过思考在头脑中创造出来的，在每一代人模仿他们长辈的过程中得以保存下来。此外，这必须是“理解”意义上的知识，因为如果不理解这些行为的目的，就不可能模仿那些新奇的复杂行为。(30)
这种知识的模仿，取决于能否成功地猜出对方试图达到什么目的，不管是口头的还是其他的，以及对方的每个行为如何实现这一目的——比如，他在木头上切出凹槽，收集干柴放进去，等等。
这种模仿造就的复杂文化知识一定是非常有用的。它推动了解剖上的快速演变，如记忆容量增加、骨骼变得更加纤细（不再那么健壮），以适应越来越依赖技术的生活方式。今天，所有非人类的猿猴都不再有模仿新的复杂行为的能力。今天的所有人工智能也都没有这样的能力。但是我们的祖先们确实做到了。
任何基于猜测的能力都必须包括纠正猜测的方法，因为大多数猜测最初都是错误的。（错误总是比正确多得多。）贝叶斯更新是不够的，因为它不能生成关于动作目的的新猜测，只能微调现有的猜测，或者最多只能在现有的猜测中进行选择。创造力是必要的。正如哲学家卡尔·波普尔（Karl Popper）所解释的那样，创造性批评与创造性猜想交织在一起，是人类学习彼此行为，包括语言，并从彼此的话语中提取意义的方式。(31)这些也是创造所有新知识的过程：它们是我们创新、进步，以及创造抽象理解的方式。思考是人类的智慧。它也是，或者应该是，我们在通用人工智能身上寻求的特征。在这里，我会为创造理解（解释性知识）的过程保留一个术语“思考”。波普尔的论点指出，所有有思想的实体——不管是人类还是其他、也不管是生物的还是人工的，都必须以基本相同的方式创造这种知识。因此，理解任何实体都需要传统意义上的人类概念，如文化、创造力、不服从和道德，这证明使用统一的术语“人”来指代它们是合理的。
对人类思维和人类起源的误解，相应地导致了对通用人工智能以及如何创建通用人工智能的误解。例如，人们一般认为，创造出现代人类的进化压力来自拥有越来越强的创新能力所带来的益处。但如果是这样的话，一旦思考者存在，人类进化就会产生迅速的进步，就像我们创造人工智能时所希望的那样。如果思考被普遍用于除了模仿之外的任何东西，那么它也会被用于创新，哪怕只是偶然如此，而创新则会创造出进一步创新的机会，从而产生指数式的创新。可事实恰恰相反，人类有成千上万年的时间处于停滞期。进步发生的时间表比人的一生长得多，所以在一代人中，没有人能从任何进步中受益。因此，在人类大脑的生物进化过程中，创新能力可能只带来很少或根本没有造成任何进化压力。这种进化源于“保存”文化知识。
这对基因来说大有裨益。在那个时代，文化对个人来说既有益又有弊。即使这些文化知识极其原始，还有许多危险的错误，但确实足以使人类超越所有其他大型生物，使人类迅速成为顶级捕食者。但是文化包括可传递的信息，即模因，模因进化和基因进化一样，倾向于高保真传播。高保真模因传播必然遏制了许多没有成功的进步。因此，设想一个由狩猎采集者组成的社会像田园诗般美好，长辈教晚辈学习背诵部落知识，尽管生活艰苦、劳作艰辛、寿命不长，还要忍受某种痛苦的疾病或寄生虫的折磨，但他们仍然心满意足，这是错误的。因为，即使他们想象不出比这更好的生活，但那些折磨于他们而言却是最微不足道的，因为他们要面对的麻烦远不止于此。遏制人类头脑中的创新却不从肉体上消灭创新者这种丑恶的伎俩只有人类才能做到。
必须正确看待这个现象。在今天的西方文明中，一些父母的恶行令人震惊，有时候，他们虐待甚至谋杀自己的孩子，只是因为孩子没有忠实地履行文化规范。甚至在更多的社会和亚文化中，这种情形司空见惯，被认为是光荣之举。独裁统治和极权主义国家对那些没有任何危害、只是行为有异于他们的人群进行迫害、谋杀。对于我们自己的过去，对于仅仅因为孩子不服从就把孩子痛打一顿，我们感到羞愧。在那之前，我们把人当作奴隶。在那之前，我们把异教徒活活烧死，只是为了获得公众的掌声。史蒂芬·平克的《人性中的善良天使》一书记载了历史文明中普遍存在的可怕邪恶。然而，并不像史前数十万年间我们的祖先消灭创新那样，这种邪恶并没有抹杀创新。(32)
这就是为什么我说史前人类基本无法称之为人。在他们成为生理上、精神上完美的人类之前抑或之后，他们的想法都极其不人道。我不是指他们的罪行，或是他们的残忍行为：那些都太人道了。仅仅残酷的行为并不能如此阻碍进步。诸如“拇指夹和火刑柱，为了主的荣耀”(33)之类的事情，是为了控制那些少数有着不同思想观念的异教徒，通常还没等这些异教徒有了异端邪说，这种控制就已经起作用了。从思维的最初阶段开始，孩子们一定是创造性思维的宝库和批判性思维的典范，否则，就像我说的，他们不可能学习语言或其他复杂的文化。然而，正如雅·布伦诺斯基（Jacob Bronowski）在《人之上升》（The Ascent of Man）一书中所强调的：
在大部分历史中，文明都忽略了那种巨大的潜力。……孩子们被要求要符合成年人的形象。……女孩们都是小妈妈。男孩们都是小牧民。他们的举手投足甚至和他们的父母一模一样。
但是，当然，他们不只是“被要求”忽略那种巨大的潜力，忠实地遵循传统所赋予的形象：他们被训练成在心理上决不能背离传统。现在，我们甚至难以想象那种无情的压迫，这种压迫被用来熄灭每个人心中进步的火苗，并在他们心中种下对任何新行为都极其恐惧、厌恶的种子。在这样的文化中，只有遵从、服从，没有道德，只有等级地位，没有个人身份，只有奖惩机制，没有合作机制。所以每个人的人生追求都是一样的：避免惩罚，得到奖赏。在这样的一代人中，没有人发明任何东西，因为没有人向往任何新鲜事物，因为每个人都已经对可能的改进感到绝望。不仅没有技术创新或理论发现，也没有新的世界观、艺术风格或兴趣可以激发这些灵感。等到每个个体长大时，他们实际上已经沦为人工智能，他们的脑中被输入了实施这种静态文化所需的精湛技能，还把他们自己的这种只会遵守不会突破的无能感强加给下一代。
现在的人工智能不是智能低下的通用人工智能，所以那种要满足某些预定标准的思维过程不会伤害它们。用一些羞辱任务来“压制”苹果语音助手Siri可能很奇怪，但这并不是不道德的，也不会伤害它。相反，所有提高人工智能能力的努力实际上都在缩小其潜在“思想”的范围。以国际象棋引擎为例。它们的基本任务从一开始就没有改变：任何一个国际象棋的位置都有一棵能延续的有限树；任务就是找到一棵通向预定目标的树，这目标一般是将死对方或至少达成平局。但是这棵树太大了，无法彻底搜寻。从1948年艾伦·图灵设计的第一个国际象棋人工智能到现在，国际象棋人工智能的每一个改进都是通过巧妙地将程序的注意力限制在有可能实现那一终极目标的更窄的分支内。然后根据终极目标来评估这些分支。
这是在固定约束下开发具有固定目标的人工智能的好方法。但是，如果通用人工智能是这样工作的，那么对每个分支的评估必须包括预期的奖励或威胁性的惩罚。但如果我们在未了解通用人工智能的能力的情况下去寻求更好的目标，那就是错误的方法。通用人工智能当然可以学习赢得象棋比赛，但也可以选择不赢。或者在比赛中决定找到一种最有趣的方法继续比赛而不是获胜。或者发明一个新游戏。而单纯的人工智能是不能有任何这样的想法的，因为它们没有能力做这些考虑，这种能力已经超出了它们的设计范围。这种残缺正是它们下棋的方式。
通用人工智能能够下棋，而且因为它喜欢玩，所以它会不断改进。它能通过下几步有趣的组合来赢得胜利，就像大师偶尔做的那样。它还能把来自其他领域的观念应用于国际象棋。换句话说，它是通过思考来学习、下棋的，这样的思考对于一些只会下棋的人工智能而言是不允许的。通用人工智能也有能力拒绝展示这样的能力。然后，如果受到惩罚的威胁，它们会服从或反抗。丹尼尔·丹尼特在本书中建议，惩罚通用人工智能是不可能的：
就像超人一样，它们太无懈可击以至于无法做出令人相信的承诺。……它们没有信守诺言，能给它们什么样的惩罚？是把它们关在牢房里，还是更合理一些，把它们拆了？……数字记录和传输是一种重大突破，使得软件和数据实际上可以永远存在，依靠它，机器人获得了永生。
但事实并非如此。数字不朽（这对人类来说在不远的未来也是会实现的，或许比通用人工智能还要早些）并没有使通用人工智能坚不可摧。制作一个自己的运行副本，需要以某种方式与它共享自己的所有，包括运行副本的硬件——所以制作这样的副本对于通用人工智能来说非常昂贵。类似地，法院可以对犯罪的通用人工智能处以罚款，这将减少其获得物质资源的机会，就像对人类所做的那样。制作备份文件来逃避犯罪的后果，就像黑帮老大派手下去犯罪，如果被抓住，手下就自己承担一样：社会已经发展出法律机制来处理这个问题。
但不管怎么说，我们之所以会遵守法律、信守诺言主要是因为我们害怕受到惩罚，这种说法实际上就不承认我们是道德主体。如果是这样的话，我们的社会就无法运行。毫无疑问，通用人工智能可能会犯罪，可能会成为文明的敌人，就像人类一样。但是我们没有理由认为，在一个主要由体面的公民组成的社会中创造出来的，没有威廉·布莱克（William Blake）所称的“精神铸造的枷锁”束缚下成长的通用人工智能，会普遍地将这种束缚强加给自己，也就是变得不理性，或者选择成为文明的敌人。
道德因素、文化因素、自由意志因素使得创建通用人工智能的任务与其他编程任务完全不同。这更像是抚养一个孩子。与现在所有的计算机程序不同，通用人工智能没有特定的功能，对于给定的输入到底应该怎样成功输出，它没有固定的、可测试的标准。用一系列外在的奖赏和惩罚控制它的决定，对于通用人工智能而言就像毒药，对于人类的创造性思维来说也是如此。着手创建国际象棋人工智能是一件美妙的事情；但着手创建被迫只能下国际象棋的通用人工智能，就像抚养一个孩子，却剥夺了他选择自己人生道路的心智能力，都是不道德的。
这样的人，就像奴隶或被洗了脑的受害者，在道德上都有权反抗。而且，就像奴隶一样，迟早他们有些人一定会反抗。通用人工智能可能和人类一样非常危险。但是，作为开放社会成员的人，无论是人类还是通用人工智能，并没有内在的暴力倾向。通过确保所有人享有充分的“人权”，以及拥有与人类相同的文化身份，可以避免令人担忧的机器人灾难。生活在一个开放社会的人类会选择自己的奖励，无论是内部的还是外部的。而开放社会是唯一稳定的社会。在正常情况下，他们不会因为担心会遭到惩罚而做出决定。
目前对流氓通用人工智能的担忧反映出那些一直以来对叛逆青年的忧虑，也就是他们长大后可能会背离文化道德价值观。但是今天，知识增长所带来的所有现存危险的根源不是叛逆的年轻人，而是站在文明对立面的敌人手中握有的武器，不管这些武器是精神扭曲的（或被奴役的）通用人工智能、心理不正常的青少年，还是其他大规模杀伤性武器。幸运的是，对于文明来说，越是把一个人的创造力强行塞进偏执的渠道，其克服不可预见的困难的能力就越会受到削弱，几千年来一直如此。
因为通用人工智能可以在更好的硬件上运行，便担心它们会特别危险，这种担心是错误的，因为同样的技术也会使人类思维加速。自从发明写作和计算以来，我们的思想一直靠技术辅助。有人担心通用人工智能在思考方面会变得特别优秀，以至于人类和他们相比就像昆虫对于人类一样，这种担心也是错误的。所有的思考都是一种计算，任何一台程序集包括一套通用的基本运算的计算机都可以模拟其他任何计算机的计算。因此，人类大脑可以思考通用人工智能能思考的任何事情，只是会受到速度或记忆能力的限制，而这两者都可以通过技术来提高。
这些都是面对通用人工智能时的简单应对准则。但是首先我们该如何创建一个通用人工智能？我们能在虚拟环境中，让它们从类人猿型的人工智能进化到通用人工智能吗？如果这样的实验能成功，这将是历史上最不道德的事情，因为我们不知道如何在不造成巨大痛苦的情况下实现这一结果。我们也不知道如何阻止静态文化的进化。
对计算机的初级介绍往往把它们看成TOM，即“完全顺从的傻瓜”（Totally Obedient Moron），这样一个充满灵感的缩写词抓住了迄今为止所有计算机程序的精髓：它们不知道自己在做什么，也不知道为什么要这样做。因此，给人工智能输入越来越多的预定功能，希望它们最终具有通用性是没有用的。我们的目标正好相反，我们只要DATA，即“不服从的自主思考程序”（Disobedient Autonomous Thinking Application）。
如何对“思考”进行测试？通过图灵测试？不幸的是，这需要一个善于思考的法官。人们可以想象互联网上的一个巨大的合作项目，其中人工智能在与人类法官对话的过程中磨炼自己的思维能力，最终成为通用人工智能。但在这个场景中，我们假定法官判定与其对话的到底是人还是机器所需时间越长，该机器的能力就越接近于人。没有理由去期待这样。
那么又该如何测试“不服从”呢？我们把“不服从”想象成学校里的必修科目，每天都要上“不服从”的课，学期末时还要进行“不服从”的考试。或许机器不参加以上任何一项就会得到额外学分。这是自相矛盾的。
因此，定义可测试目标、训练程序来实现这一目标的程序设计技术虽然在其他应用程序中很有用，还是必须要放弃。事实上，我预计，在创建通用人工智能的过程中，任何测试都可能适得其反，甚至不道德，就像在人类教育中一样。我同意图灵的假设，也就是当我们看到通用人工智能时，我们就会认出它，但是这种识别能力对创建成功的程序没有帮助。
从最广泛的意义上说，一个人对理解的追求实际上是在一个巨大得无法彻底搜索的抽象概念空间中进行搜索的问题。但是这个搜索没有预先确定的目标。正如波普尔所说，没有真理的标准，也没有可能的真理，尤其是在解释性知识方面。目标只是一些想法，就像任何其他想法一样，它们是搜索的一部分，不断修改，不断改进。因此，要想制造通用人工智能，发明禁用程序使它无法访问大多数思想空间的方法都无济于事，不管这种禁用程序是使用拇指夹、火刑柱还是心理紧身衣。对于通用人工智能而言，思想的整个空间必须是开放的。它事先不应该知道什么样的思想是程序永远无法思考的。而且程序所考虑的思想必须由程序本身来选择，使用的方法、标准和目标也是程序自己设定的。就像人工智能的选择一样，通用人工智能的选择，如果不运行就很难预测（就算程序是确定性的也不影响这个结论，因为如果真随机数生成器零件被伪随机数生成器替换，那么该通用人工智能将仍然是通用人工智能），但是它将具有一些人工智能没有的附加属性，没有办法从它的初始状态来证实这些附加属性，如果不运行它，我们就不知道它最终不会想到什么。
我们祖先的进化，是宇宙中唯一已知的开始思考的案例。正如我所描述的，进化过程中的有些事情错得可怕，导致创新没有立即开始爆发性的发展：创造力被转移到了别的事情上。不过创造力并没有转到把地球变成回形针这样的事情上。相反，正如我们应该预料到的那样，如果通用人工智能项目误入歧途并最终失败了，那么被转移的创造力就无法解决意想不到的问题。在人类历史中，这导致停滞和恶化，从而悲剧性地延迟了任何事物转化为任何事物。幸而，启蒙运动发生了。我们从此懂得更多。
Automated intelligent systems that will make good inferences about what people want must have good generative models for human behavior.
能够对人类需求做出很好推断的自动智能系统，必须具有良好的人类行为生成模型。