W. Daniel Hillis
丹尼尔·希利斯是发明家、企业家和计算机科学家，南加州大学工程与医学贾奇·威德尼讲席教授，著有《计算机的本质：使计算机工作的简单想法》（The Pattern on the Stone: The Simple Ideas That Make Computers Work）。
布罗克曼谈丹尼尔·希利斯
当丹尼尔·希利斯在麻省理工学院读本科时，他用堆叠式玩具制造了一台计算机。这台计算机有大约10000个木质零件，会玩井字棋，而且从来没输过。它现在被收藏在加利福尼亚州山景城的计算机历史博物馆里。
20世纪80年代初，丹尼尔在麻省理工学院计算机科学和人工智能实验室攻读研究生，他设计了一台拥有64000个处理器的大型并行计算机。他把它命名为“连接机器”，并成立了有可能是世界上第一家人工智能公司——思维机器公司，用来生产和销售“连接机器”。尽管他和理查德·费曼共进了一顿午餐，在午餐时，这位著名的物理学家却说：“这确实是我听到过的最愚蠢的想法。”“尽管”这个词也许是错误的，因为费曼有一个众所周知的爱好，那就是喜欢使用“愚蠢的想法”这个词。结果，公司成立那天费曼来了，参加了暑期工作，完成了特殊任务，做出了宝贵贡献。
从那以后丹尼尔成立了许多技术公司，其中最新成立的一家叫应用发明公司。这家公司与商业企业合作开发技术方案，解决后者最棘手的问题。他拥有数百项美国专利，包括并行计算机、触摸界面、磁盘阵列、防伪方法以及一系列电子和机械设备。很显然他拥有无穷无尽的想象力，在这里他勾画出一些未来可能的场景，这些场景均源于我们对越来越好的人工智能的追求。
“我们的思维机器不仅仅是隐喻，”他说，“问题不在于‘它们会变得特别强大，伤害我们吗？’（它们会），问题也不在于它们是否会一直按照我们的最佳利益行事（它们不会），问题在于，从长远角度来看，它们是否能帮助我们找到出路——那是在寻找‘灵丹妙药/启示录’过程中我们出现的地方。”
我谈到过机器，但不仅仅是那些有铜脑和铁脑的机器。当人类原子被编织进一个组织，这个组织不是把他们当作负责任的人，而是当作齿轮、杠杆和棍子来使用时，他们的原料是血肉这件事就并不重要了。在机器中当作元件来使用的东西，实际上就是机器中的元件。不管我们是把决定权委托给金属机器，还是委托给那些血肉机器，不管这些机器是当局、大实验室、军队还是公司，除非我们提出正确的问题，否则我们永远也得不到正确的答案。天色已晚，善与恶的选择已敲响了我们的大门。
诺伯特·维纳，《人有人的用处》
诺伯特·维纳在识别智能机器的潜在危险方面领先于他的时代。我相信，在意识到第一批人工智能已经开始出现这方面，他甚至领先于他的时代更多。他把那些他称之为“血肉机器”的公司和部门看成第一批智能机器，这一点儿没错。他还预见到创造那些目标未必与我们自己的目标一致的超级人工智能会带来的危险。
不管维纳是否清楚，但现在我们清楚了，这些组织性的超级智能不仅仅包括人类，它们是人类和信息技术的混合体，信息技术使人类能够协同工作。即使在维纳时代，没有电话、电报、收音机和制表机，“当局、大实验室、军队和公司”也无法运作。今天，如果没有计算机网络、数据库和决策支持系统，它们也无法运作。这些混合智能是技术增强的人类网络。这些人工智能具有超人的能力。它们比人类个体懂得更多；它们能够感知更多；它们能够做出更精细的分析和更复杂的计划。它们拥有的资源和力量比任何个人拥有的都要多。
虽然我们并不总能察觉到，但是诸如民族国家和企业这样的混合型超级智能有它们自己的涌现目标。虽然它们是由人类建造的，也是服务于人类的，但它们的行为却常常像独立的智能实体一样，而且它们的行为并不总是与创造它们的人的利益相一致。国家并不总是为公民服务，公司也不总是为股东服务。非营利组织、宗教组织或政党也不总是遵循其原则而行动。直觉上，我们意识到它们的行为受其内部目标的引导，这就是为什么我们在法律上和思维习惯上都把它们人格化。当我们谈论“中国想要什么”或“通用汽车正在做什么”时，我们并不是在隐喻。这些组织有智能，它们能感知、能做出决定、能采取行动。和人类个体的目标一样，组织的目标也很复杂，常常还自相矛盾，但它们的目标是真正的目标，因为这些目标能指导行动。这些目标在某种程度上取决于组织中人员的目标，但两者并不相同。
所有美国人都知道，美国政府的行为与其公民的那些丰富多样又常常互相矛盾的目标之间的联系是多么松散。企业也是如此。营利性公司名义上服务于多个群体，包括股东、高管、雇员和客户。这些公司的区别在于如何平衡它们对各方的忠诚，但其行事方式却常常并不服务于任何一方。承载企业思想的“神经元”不只是人类员工或连接他们的技术，它们还被编码到企业的政策、激励结构、文化和程序习惯中。涌现而出的企业目标并不总是反映执行它们的人的价值。例如，一家石油公司虽然其领导人和员工都关心环境，但却可能采取某种激励结构或政策，使得公司为了效益而危害到环境安全。各组成部分具有的良好意图并不能保证涌现系统一定会采取相应的行为。
政府和公司，两者结构中都有一部分是由人类建立的，两者都会自然而然受到人类的激励，至少会表现出与它们所依赖的人类有共同的目标。离开人类，它们都无法运转，所以它们需要与人类合作。当这些组织表现出利他行为时，通常这就是它们的一部分动机。我曾赞扬一家大公司的首席执行官，称赞他的公司对人道主义救济工作所做的贡献。这位首席执行官，语气中不带有一丝讽刺意味，回答道：“是的。我们决定做更多这样的事情，以使我们的品牌更受欢迎。”构成混合型超级智能的个体偶尔会施加“人性化”的影响，例如，一名员工可能会为了适应另一个人的需要而打破公司的政策。这名员工可能真的出于人类同理心，但我们不应该认为超级智能本身有这种同理心。这些混合机器有目标，它们的公民、客户、雇员是它们用来实现目标的资源。
我们几乎能够不用人类组件，只用纯信息技术构建超级智能。这就是人们通常所说的人工智能。我们有理由问一问，我们设想的机器超级智能对人类持什么样的态度。它们是否也会认为人类是有用的资源，与我们的良好关系值得保持？它们是否会被构建成有着与我们人类一致的目标？超级智能会认为这些问题很重要吗？我们应该问的“正确的问题”是什么？我认为最重要的一个问题是：各种超级智能体之间会是什么关系？
想想混合型超级智能目前是如何处理它们之间的冲突的，这很有趣。今天，大部分的最终权力属于民族国家，这些国家声称对一片土地拥有权力。无论是为了本国公民的利益还是为了专制统治者的利益，民族国家都主张在它们的地理疆域内自身有着优先于其他智能的愿望或目标。它们声称只有它们才可以使用武力，并且认为只有其他民族国家才能与它们相提并论。如果有必要，为了行使它们的权力，它们愿意要求公民做出重大牺牲，甚至牺牲公民的生命。
当大多数行为者都是在单一民族国家中度过一生的人类时，这种地理上的权力划分是合乎逻辑的，但是既然重要的行为者包括地理上分布广泛的混合智能，例如跨国公司，那么这种逻辑性就有些牵强了。今天，我们生活在一个复杂的过渡时期，在这个时期，分布式超级智能在很大程度上仍然依赖于民族国家来解决它们之间的纷争。通常，这些纷争在不同地区有不同的解决办法。甚至把人类个体分派给民族国家也变得愈加困难：那些住在国外、工作在国外的国际旅行者、难民和移民（有证件的和没有证件的），他们依然是尴尬的例外。对于领土权力体系而言，纯粹由信息技术构建的超级智能的位置更加尴尬，因为我们没有理由将它们与单个国家的物质资源，或甚至是任何特定的物质资源联系起来。人工智能很可能“存在于云中”，而不是存在于任何物理位置。
关于机器超级智能将如何与混合超级智能相关联，我可以想象出至少四种情形。
第一个情形显而易见，在这个场景中，最终各个民族国家将控制多个机器智能并与之结盟。在这个国家-人工智能的场景中，人们可以设想美国和中国的超级人工智能各自代表它们的国家，为争夺资源而相互较量。在某种意义上来说，这些人工智能就是这些民族国家的公民，就像今天许多商业公司经常扮演的“企业公民”一样。在这种情况下，东道国大概会给机器超级智能提供它们为国家利益工作所需的资源。又或者，如果超级智能能够影响它们的国家政府，也许它们会这样做来增强自己的权力，比如获得更大的国家资源份额。民族国家的人工智能们可能不希望有竞争力的人工智能在其管辖范围内成长。在这个场景中，超级智能成为国家的扩展，反之亦然。
国家-人工智能的这一场景似乎具有可信度，但这不是我们当前的方向。我们最强大、发展最快的人工智能是由营利性公司掌握的。第二个情形是公司-人工智能的场景，其中国家与公司之间的权力平衡被颠倒。今天，最强大、最智能的机器集合很可能由谷歌所有，但是像亚马逊、百度、微软、脸书、苹果和IBM这样的公司可能也不会落后太多。这些公司都认为建立自己的人工智能势在必行。我们很容易想象出这样一个未来，企业独立建立自己的机器智能，建立防火墙，防止机器利用彼此的知识。这些机器被设计成拥有与公司相一致的目标。如果可以做到这种一致性，那么在开发自己的人工智能能力方面，民族国家可能会继续落后，它们只能依靠“企业公民”来为它们这样做。如果公司能够成功地控制这些目标，它们将会比民族国家更加强大自主。
第三个情形，也许是人们最担心的情形，就是人工智能与人类或混合超级智能的目标都不一致，它们只会为了自己的利益采取行动。它们甚至可能合并为单个机器超级智能，因为在技术上并不要求机器智能保持确切的身份。对于混合超级智能而言，一个自私的超级人工智能很可能极具竞争力。对于这样的超级智能来说，人类可能只是个小烦恼，像野餐时的蚂蚁，但是像公司、有组织的宗教和民族国家一样的混合超级智能却可能是一种威胁。像混合超级智能一样，人工智能可能也把人类当作实现它们目标的有用工具，就像在与其他超级智能竞争中的卒子。或者我们人类仅仅是无关紧要的。也许机器智能已经出现了，只是我们还没有意识到，这也并非不可能。它可能不希望被注意到，或者它对我们而言太陌生，以至于我们无法感知它。这都使得这种自私的人工智能出现的场景最难以想象。我相信那些容易想象的版本，比如科幻小说中的人形智能机器人，是最不可能的。我们最复杂的机器，比如互联网，是任何单个人类无法详细了解的，这些最复杂机器的涌现行为可能也超越了我们人类的理解范围。
第四个情形是，机器智能彼此不会结盟，但它们会共同努力推进整个人类的目标。在这种乐观的情形下，人工智能可以帮助我们恢复个人与公司之间、公民与国家之间的权力平衡。它可以帮助我们解决由混合超级智能造成的问题，这些超级智能颠覆了人类的目标。在这种情形下，人工智能将赋予人类力量，使我们拥有目前只有公司和国家才拥有的处理问题的能力和知识。实际上，它们可以成为个人智慧的延伸，促进人类的目标。它们可以使弱小的个体智力变得强大。这种前景令人兴奋，听起来也很合理。说它合理是因为我们可以选择建造什么，而且一直以来，我们人类都在使用技术来扩展和增强人类能力。正如飞机给了我们翅膀，发动机给了我们移动山脉的肌肉，我们的计算机网络也可以增强并扩展我们的思维。我们可能不能完全理解或控制我们的命运，但我们有机会朝着符合我们价值观的方向努力。未来不是会发生在我们身上的事情，而是我们将要建造的东西。