心理学家史蒂芬·平克在其职业生涯中，无论是研究语言、倡导实在论的心理生物学，还是从人文主义启蒙思想的角度审视人类状况，都拥护自然主义的宇宙观和心智的计算理论。他也许是第一个国际公认的知识分子，能获得国际的认可是因为他倡导对语言、心智和人性进行经验性思考。
“正如达尔文使一个深思自然世界的观察者在观察时可以不使用神创论，”他说，“图灵和其他人使一个深思认知世界的观察者在观察时可以不使用灵性主义。”
在关于人工智能风险的讨论中，平克反对悲观的末日预言，认为这些预言源自我们的心理偏见，媒体报道尤其助纣为虐：“在我们不理性的头脑想象区，我们很容易想象出灾难场景，这些灾难场景总会得到许多焦虑的、对技术恐惧的或病态的人群的认可。”因此，几个世纪以来我们听到：潘多拉、浮士德、魔法师学徒、弗兰肯斯坦、人口炸弹、资源枯竭、手提箱核弹、千年虫，以及纳米技术灰蛊的吞噬。“人工智能反乌托邦者的一个特征，”他指出，“就是他们把狭隘的男性至上心理学投射到智能的概念上……历史上确实偶尔会出现狂妄自大的暴君或精神变态的连环杀手，但是这些是自然选择在特定种类的灵长类动物中塑造睾酮敏感回路的历史产物，而不是智能系统的必然特征。”
在这篇文章中，他对维纳面对技术的崛起依然相信思想的力量，深表赞同。正如维纳所说：“机器对社会所造成的危险不是来自机器本身，而是来自人类如何看待它。”
人工智能是一个活生生的证明，它证实了人类历史上的一个伟大思想：知识、理性和目的的抽象领域并不包括生命冲动、无形的灵魂或神经组织的神奇力量。相反，它可以通过信息、计算和控制与动物和机器的物理领域联系起来。知识可以被解释为存在于物质或能量中的模式，这种模式与世界的状态、数学和逻辑真理，以及其他模式之间，存在系统关系。推理可以被解释为通过物理操作对知识进行转换，物理操作是为了保持这些关系。目的可以被解释为对影响世界的损伤的控制，而控制以当前状态和目标状态之间的差异为指导。自然进化的大脑只是最常见的系统，它通过信息、计算和控制来实现智能。而人为设计的系统可以实现智能，这就证实了信息处理足以解释智能，已故的杰里·福多尔将这个想法称为心智计算理论。
诺伯特·维纳的《人有人的用处》是本书的基石，它庆祝了这一智力成就，维纳本人也对此成就做出过重要贡献。20世纪中叶的革命使世界有了心智计算理论，这段历史也许可以归功于克劳德·香农和沃伦·韦弗，因为他们用信息的方式对知识和通信进行解读。这段历史也可以归功于艾伦·图灵和约翰·冯·诺伊曼，因为他们从计算的角度阐释了智力和推理。这段历史还归功于维纳，因为他用反馈、控制和控制论的技术概念（就它最初的“控制”目标导向系统的操作的意义来讲）来解释目的、目标和目的论的至今仍然神秘的世界。“我的论点是，”他说，“有生命个体的物理功能与一些较新的通信机器的运作，在它们通过反馈控制熵的相似尝试中是完全一致的。”——躲避破坏生命的熵是人类的终极目标。
维纳把控制论的思想应用到第三种系统：社会。一个复杂社区的法律、规范、习俗、媒体、论坛和机构可能会是信息传播和反馈的渠道，它们能使一个社会远离混乱、追求特定目标。这一思想是贯穿《人有人的用处》的一条主线，维纳本人将其视为这本书的主要贡献。他这样解释反馈：“普通人会忽视这种行为的复杂性，特别是在我们对社会的习惯分析中，这种行为的复杂性并没有发挥应有的作用；因为正如可以从这个角度来看个体的物理反应，我们也可以从这个角度来看社会本身的有机反应。”
事实上，维纳对思想在历史、政治和社会运作中的作用提供了科学依据。通过调整人类的行为，人类所共享的信念、意识形态、规范、法律和习俗，就能塑造一个社会，并推动历史事件的进程，就像物理现象会影响太阳系的结构和演化一样。要说思想，而不仅仅是天气、资源、地理或武器，能塑造历史，这并不是神秘主义。它是人类大脑中被实例化并在通信和反馈网络中进行交换的信息的因果力量的陈述。历史的决定论理论，无论它们将因果引擎看成技术、气候还是地理，都被思想的因果力量所证否。这些思想的作用包括不可预知的颠簸和振荡，它们源于正反馈或未校准的负反馈。
从思想传播的角度分析社会，也给维纳提供了社会批判的指南。一个健康的社会，是一个赋予其社会成员无视熵增追求生命的方式，这样的社会允许其社会成员感知并推动信息的传播，从而回馈和影响社会的统治。而一个功能失调的社会则会利用教条和权威来进行自上而下的控制。维纳因此形容自己是“自由主义观点的参与者”，并在这本书（1950年和1954年两版）中使用大量的道德和修辞手法来谴责法西斯主义、麦卡锡主义、军国主义和独权主义宗教，还对政治和科学机构变得过于分层和孤立提出警告。
维纳的书中也随处可见科技预言的早期样子，这是一个越来越流行的流派。科技预言不是指简单的预测，而是类似旧约中对当代人的堕落进行灾难性报应的悲观警告。维纳警告说，不要加速核军备竞赛，不要不顾人类福祉强行推进技术变革——“作为科学家，我们必须知道人类的本性是什么，他内在的目的又是什么”。他反对今天称之为价值对齐问题：他认为“像神灵这样的可以学习、可以根据其学习做出决定的机器，绝不会被迫做出人类本该做出的决定，也不会被迫做出人类可接受的决定”。在该书的1950年版本中，他甚至警告说“对机器统治的依赖将成为一种新的威胁力极大的法西斯主义”。
维纳的科技预言可以追溯到浪漫主义运动对工业革命“黑暗的撒旦磨坊”的反叛，也许更早一些，可以追溯到普罗米修斯、潘多拉和浮士德的原型。今天，它已经进入高速状态。许多像维纳一样来自科技界的先知们对纳米技术、基因工程、大数据，尤其是人工智能发出警报。本书的几位作者都将维纳的书看成有预言性的科技预言，夸大了维纳的担忧。
不过，《人有人的用处》的两个道德主题，即对开放社会的自由主义式捍卫和对失控技术的反乌托邦式恐惧，却处于紧张对垒状态。一个拥有能最大限度地促进人类繁荣的反馈渠道的社会具有适当的机制，并且以使技术适应人类目的的方式，令这种机制适应变化的环境。这并不是什么理想主义或神秘主义；正如维纳所强调的，思想、规范和制度本身就是一种技术形式，由分布在大脑中的信息模式组成。机器带来新法西斯主义的可能性必须与维纳在整本书中倡导的自由思想、制度、规范的活力进行权衡。当今反乌托邦预言的缺陷在于他们忽视了这些规范和制度的存在，或者大大低估了它们的因果效力。其结果是技术决定论的悲观预言被历史的进程反复驳斥。数字“1984”和“2001”就是很好的例子。
我会思考两个例子。科技预言家经常对一种“监视状态”提出警告，这种状态是指技术使政府有能力来监视、偷听、偷看所有的私人通信，以便随时发现异议及不法企图，使所有对国家权力的反抗成为徒劳。奥威尔作品中的电幕就是这个警告的原型。除此之外，1976年，有史以来最悲观的技术先知之一约瑟夫·魏岑鲍姆警告我的研究生班学生不要研究自动语音识别，因为它唯一可以想象的应用就是政府监控。
直言不讳的自由主义者们深切关注自由言论在当代受到的威胁，虽然在这个榜单上我也榜上有名，但我并没有因为互联网、视频或人工智能的科技进步而寝食难安。原因在于，无论何时、无论何地，几乎所有思想自由程度的变化都是由规范和制度的差异驱动的，几乎没有一个是由技术的差异驱动的。虽然在想象中，我们可以假设将最邪恶的极权主义者与最先进的技术组合起来，但在现实世界中，我们应该警惕的是规范和法律，而不是技术。
想想历史长河中发生的变化。如果像奥威尔暗示的那样，技术进步是政治镇压的主要推动力，那么几个世纪以来西方社会应该越来越严格地限制言论，20世纪后半叶应该会发生戏剧性恶化并一直持续到21世纪。但历史并不是这样的。正是在人们用鹅毛笔进行交流的几百年间，许多启蒙思想家被关进监狱或施予绞刑。第一次世界大战时，无线电是当时最先进的科技，伯特兰·罗素却因为倡导和平主义观点而被监禁。20世纪50年代，当计算机是房间大小的计数机器时，数百名自由派作家和学者因为他们的专业而受到惩罚。然而，在技术日新月异、网络联系紧密的21世纪，美国却有18%的社会科学教授是马克思主义者(27)，美国总统每晚都被电视喜剧演员嘲笑为种族主义者、变态者和白痴。科技对政治话语的最大威胁源于放大了太多含糊的声音，而不是压制了开明的声音。
再想想跨越空间的变化。位于科技前沿的国家在民主和人权问题上一直是得分最高的，而许多科技落后的强权国家却在这一问题上垫底，这些国家经常监禁或杀害政府批评者。当你以任何人类社会为样本分析信息流动的渠道时，发现技术与镇压之间缺乏相关性，这一点儿都不足为奇。要想让持不同政见者拥有影响力，他们必须通过任何可用的交流渠道将信息传播到广泛的社交网络中，无论是小册子、街头演说，还是咖啡馆和酒吧的聚会，抑或是交口相传。这些渠道使有影响力的持不同政见者进入更广泛的社交网络，从而使得识别并追踪他们变得很容易。当独裁者重捡起一项历史悠久的技术，也就是通过惩罚那些没有谴责或惩罚别人的人，让人民武装起来互相对抗时，发现持不同政见者就更容易了。
相比之下，技术先进的社会早就能够做到在每个酒吧和卧室安装连接互联网的、由政府监控的监视摄像机。然而，他们并没有这样做，因为民主政府（甚至现在的美国政府，虽然它有着明显的反民主冲动）缺乏意志和手段，无法对习惯于畅所欲言的喧闹的人们实施这种监督。偶尔，关于原子弹、生物或网络恐怖主义的警告会促使政府安全机构采取一些措施，例如囤积移动电话元数据，但是这些措施并没有什么效果，更多的是戏剧性的而非压迫性的，对安全或自由都没有显著影响。具有讽刺意味的是，科技预言在鼓励这些措施方面发挥了作用。通过传播诸如手提箱核弹和在青少年卧室中组装的生物武器等所谓威胁，他们制造恐慌并向政府施加压力，要求政府证明他们正在采取行动以保护美国人民。
这并不是说政治自由可以自生自灭。而是说最大的威胁位于思想网络、规范网络和机构网络之中，这些网络允许信息对集体决策和理解做出反馈（或不做出反馈）。与虚构的技术威胁相反，当今真正的威胁是压制性的政治正确性，它钳制了公开表达意见的尺度，吓坏了许多知识分子，使他们不敢进入学术领域，还引发了保守派的反击。另一个真正的威胁是将公诉裁量权与不断增多的条文模糊不清的法典相结合。其结果是，正如公民自由意志主义者哈维·希尔维格雷特（Harvey Silverglate）的书名那样，每个美国人在不知不觉中犯了“一天三宗罪”，只要符合政府的需要，公民就有被监禁的危险。正是因为手握这种公诉武器而不是电幕，才使得老大哥大权在握。激进主义和针对政府监督项目的辩论应该将矛头更准确地指向政府唯我独尊的法律权力。
今天许多科技预言的另一个焦点是人工智能，在原始的反乌托邦科幻作品中，计算机疯狂地运行并奴役人类，人类无法阻挡它们的控制；而在更新的版本中，它们偶然地征服了人类，一心一意地寻求我们赋予的目标，尽管会对人类福祉产生副作用（这是维纳提出的价值对齐问题）。无论是在哪个版本中，人工智能都是焦点。不过我还是觉得这两种威胁都是虚构的，因为它源于一种狭隘的技术决定论，这种技术决定论忽略了在像计算机或大脑这样的智能系统以及整个社会中的信息和控制网络。
这种对征服的恐惧来自对智能的模糊理解，其模糊之处在于将智能归于一种存在之链(28)和尼采式的权力意志，而不是根据信息、计算和控制对智能和目的进行的维纳式分析。在这些恐怖场景中，智能被描绘成一种全能的、能实现愿望的神药，智能主体各自拥有不同数量的这种神药。人类比动物拥有更多的神药，而人工智能的计算机或机器人比人类拥有的更多。既然我们人类曾用我们不高不低的智能驯养或消灭了那些不太有智能的动物，既然技术先进的社会奴役或消灭了技术水平很低的社会，那么超级聪明的人工智能也会对我们人类做同样的事情。因为人工智能的思维速度比我们快数百万倍，还能利用它的超级智能递归地提高它的超级智能，所以从它被开启的那一刻起，我们就无力阻止它。
但是这些场景混淆了智能与动机、信念与欲望、推理与目标、图灵阐明的计算和维纳阐明的控制。即使我们发明了超人智能机器人，他们为什么要奴役他们的主人或接管世界？智能是指运用新的手段达到目标的能力。但是这些目标与智能无关，因为聪明并不等同于一定要追求某些东西。巧合的是，智人的智能是达尔文自然选择的产物，而自然选择本质上是一个竞争过程。在智人的大脑中，推理与一些诸如支配对手和积累资源等目标捆绑在一起。但是，把某些灵长类动物的边缘脑中的回路与智能的本质混为一谈是错误的。没有任何一个复杂系统定律表明，智能主体一定会变成无情的自大狂。
在智能与动机的混淆之外，另一个误解是认为智能是无穷无尽的力量的连续体，是具有解决任何问题、实现任何目标的能力的神奇药剂。这个谬论引出了一些荒谬的问题，比如人工智能何时会拥有“超过人类水平的智能”，这个谬论还让人们想到“通用人工智能”的形象，它具有上帝般的无所不知和无所不能。智能是小工具一般的发明：这是一些软件模块，能获取如何在各个领域追求各种目标的知识，或把这些知识进行编程。人们有能力找到食物，赢得朋友并影响他人，吸引未来的伴侣，抚养孩子，周游世界，以及追求其他的兴趣和爱好。计算机通过植入程序可以处理一些问题（比如识别人脸），不打扰其他人（比如迷人的配偶），并处理人类无法解决的其他问题（比如模拟气候或者整理数百万的会计记录）。问题千奇百怪，解决这些问题所需要的知识也千差万别。
但是，反乌托邦的情景并没有承认知识对智能的中心作用，而是把未来的人工智能与拉普拉斯妖混为一谈。拉普拉斯妖是虚构的一种存在，他知道宇宙中每个粒子的位置和动量，将它们输入物理定律的方程式来计算宇宙未来任何时候的一切状态。由于许多原因，拉普拉斯妖永远不会以硅基的形式实现。现实生活中的智能系统必须一次接触一个领域来获取有关物体和人类的凌乱世界的信息，这个周期是由物理世界中事件的展开速度来控制的。这就是对世界的理解过程不符合摩尔定律的一个原因：知识是通过形成解释并根据实际检验而获得的，而不是通过更快地运行算法而获得的。专注于互联网上的信息也不会带来全知：大数据仍然是有限的数据，而知识的宇宙是无限的。
对于人工智能会突然控制人类这一假设持怀疑态度的第三个原因是，它把我们现在所处的对人工智能大肆渲染的这一时期看得太过严重了。尽管在机器学习，特别是多层人工神经网络方面取得了进展，但当前的人工智能系统远未达到通用智能（如果这个概念是连贯的）。相反，它们仅限于在某些领域将定义良好的输入映射到定义良好的输出，在这些领域中存在大量的训练集，其中成功的度量标准是立即性和精确性，而且环境不会改变，那些逐步的、层次性的或抽象的推理是不必要的。许多成功不是来自对智能的工作机制的更好理解，而是来自更快的芯片和更大数据的强大力量，这种力量使得程序能在数百万个例子上进行训练，并推广到类似的新例子上。每个系统都是一个白痴学者，对于那些并非应由该系统解决的问题，它几乎没有能力去接触这些问题。说得更清晰明了些，这些项目中没有一个系统采取了行动来接管实验室或奴役其程序员。
即使人工智能系统试图行使权力意志，但如果没有人类的合作，它将仍然只是缸中之脑。一个超级智能系统，在其自我改进的驱动下，会迫不得已建造运行所需要的更快的处理器，建造为它提供条件的基础设施，还要建造将之与世界相连接的机器人效应器——除非它的人类受害者努力将工程世界的一大部分交给它控制，否则这一切都不可能。当然，我们总是可以想象一个带来世界末日的恶毒的计算机，它拥有大量权力，总是处于开机状态，具有防篡改功能。对付这种威胁的方法很简单：不要建造这样的计算机。
那么，又如何看待维纳的猴爪、精灵和迈达斯国王的故事中所预示的人工智能的新威胁，即价值对齐问题呢？在维纳的这些故事中，许愿者许下愿望，但这些愿望所带来的副作用却又让他们深深懊悔。我们担心的是，我们可能给人工智能系统一个目标，然后当它冷酷无情地、机械地执行它对该目标的理解而使我们人类利益受到侵害时，我们却只能无助地袖手旁观。如果我们给人工智能一个目标，让它维持大坝的水位，它可能会淹没城镇，而不关心溺水的人。如果我们给它制造回形针的目标，它可能把宇宙中所有的物质都变成回形针，包括我们的财产和身体。如果我们要求它最大限度地提高人类的幸福感，它可能会给我们所有人静脉注射多巴胺，或者重新连接我们的大脑回路，这样我们就会最幸福地一直坐在罐子里。又或者，如果它被训练过用笑脸的图片来表达幸福的概念，那么它就会在银河系里铺上数万亿张笑脸纳米照片。
幸运的是，这些场景是自我矛盾的。它们依赖于这样的前提：（1）人类如此有天赋，能够设计出全知全能的人工智能，却又如此愚蠢，以致他们会在不测试它如何工作的情况下给予它控制宇宙的能力；（2）人工智能如此聪明，它能够知道如何改变元素，如何重新连接大脑，却又如此愚蠢，会基于误解的根本错误而造成严重破坏。选择最能满足冲突目标的行为的能力，不是工程师可能忘记安装和测试的智能的附加物，而是智能本身。在语境中理解语言使用者意图的能力也是如此。
当我们撇开诸如数字狂妄、即时全知、宇宙中每个粒子的完美知识和控制等幻想，人工智能就与其他任何技术没什么分别。它是增量式开发的，能满足多种条件，我们在实施之前要对其进行测试，并且不断调整其有效性和安全性。
最后一个标准特别重要。先进社会里的安全文化是维纳援引的人性化规范和反馈渠道例子，维纳认为这些规范和反馈渠道是有力的因果力量，是对抗专制或技术剥削的防护墙。尽管在20世纪初，西方社会对因工业、家庭和交通事故造成的令人震惊的致残率和死亡率持容忍态度，但在随后的一个世纪里，人类生命的价值却渐渐提高了。结果是，各国政府和工程师根据事故统计数据的反馈结果，实施了无数的法规、设备和设计变更，使技术越来越安全。事实上，一些规定荒谬地规避风险，如禁止在加油站使用手机，这突显出我们已经变成一个痴迷于安全的社会。这带来了巨大的好处：工业、家庭和交通事故的死亡率自20世纪上半叶以来已经下降了95%以上（通常是99%）。(29)然而，预言恶意的或无意中作恶的人工智能的科技先知们却好像以为这个重大的转变从未发生过，他们继续写道，有一天早上，工程师们会全然不顾会给人类造成的后果，把整个物理世界的完全控制权交给未经测试的机器。
诺伯特·维纳从计算和控制过程的角度对思想、规范和制度进行解释，这些过程在科学上容易理解，在因果关系上强大有力。他把人类的美丽和价值解释为“一种反抗熵增的尼亚加拉大瀑布的局部和暂时的斗争”，并表示，希望在人类福祉的反馈指导下，一个开放的社会将增强这种价值。幸运的是，他对思想的因果力量的坚信抵消了他对迫在眉睫的技术威胁的担忧。正如他所说：“机器对社会的危害不是来自机器本身，而是来自人类如何使用它。”只有通过重新构筑思想的因果力量，我们才能准确地评估当今人工智能所呈现的威胁和机遇。
Misconceptions about human thinking and human origins are causing corresponding misconceptions about AGI and how it might be created.
对人类思维和人类起源的误解，相应地导致了对通用人工智能以及如何创建通用人工智能的误解。