当维纳创作《控制论》《人有人的用处》这两本书时，一件著名的高估了技术的事情即将发生。在20世纪50年代，人们首次尝试开发人工智能。赫伯特·西蒙（Herbert Simon）、约翰·麦卡锡和马文·明斯基等研究人员开始设计计算机程序来完成简单任务，并建造了机器人雏形。这些最初的努力获得了成功，西蒙倍受鼓舞，宣称：“20年内，机器将有能力完成一个人所能做的任何工作。”结果这一预言大错特错。随着计算机变得更强大，它们变得越来越擅长下棋，因为计算机系统可以生成许多可能的棋步，并估算这些棋步。但人们对人工智能的多数预测，例如机器人女佣，却是不切实际的。1997年的国际象棋大赛上超级计算机“深蓝”击败加里·卡斯帕罗夫（Garry Kasparov）时，最强大的清扫房间机器人是一个叫“伦巴”（Roomba）的机器人，它随意四处移动吸走灰尘，当它被困在沙发下面时会发出吱吱的叫声。
预测技术进步充满了不确定性，因为技术进步是一系列的改进过程，困难会阻碍进步，而创新则会克服困难，取得进步。许多困难以及一些创新可以被预见到，但更多的困难及创新则很难预料。我自己和实验专家合作建造量子计算机时，我常常发现，一些我以为很容易实现的技术步骤，结果却是不可能完成的；而一些我想象中不可能完成的任务却变得很容易。你不试试就永远不会知道。
20世纪50年代，冯·诺伊曼从与维纳的谈话中受到启发，引入了“技术奇点”这一概念。技术常以指数式速度不断提高，每隔一段时间其性能或灵敏度就会增加一倍。例如，自1950年以来，几乎每隔两年，计算机性能便会提升一倍，这种现象便是“摩尔定律”。冯·诺伊曼根据观察到的技术进步的指数率，断言“技术进步将变得异常迅速、复杂”，在不远的将来就会超越人类能力。事实上，如果按照现在的速度推断未来计算机的原始计算能力增长，也就是按比特率和位翻转计算，计算机应该在未来的20到40年内发展到可与人类大脑匹敌的程度，具体时间取决于如何估算人类大脑的信息处理能力。
人们最初对人工智能过于乐观的失败预测，使得在之后的几十年很少有人讨论技术奇点的话题，但是自从雷·库兹韦尔（Ray Kurzweil）(1)2005年出版《奇点临近》（The Singularity Is Near）后，技术进步带来超级智能的想法再次回归。包括库兹韦尔在内的一些人坚信，奇点就是机遇：人类可以将他们的大脑与超级智能融合，从而永生。但还有一些人，如史蒂芬·霍金和埃隆·马斯克则担心这种超级智能是邪恶的，担心它会对人类文明构成最大威胁。不过有一些人，包括本书的一些撰稿人却认为这样的说法太过夸张。
维纳毕生的事业以及他预测的失败，都与技术奇点密切相关。他在神经科学方面的研究，以及他对麦卡洛克和皮茨最初的支持，勾勒出当今极其有效的深度学习方法的轮廓。在过去的几十年里，尤其是在过去的5年，这种深度学习的技巧最终发展出维纳所称的“格式塔”能力，例如，你知道圆就是圆，即使当它倾斜看起来像一个椭圆时，你仍旧知道它就是一个圆。他对控制论的研究，以及他在神经肌肉反馈方面的研究，对于机器人的发展意义非凡，也启发了以神经为基础的人机接口研究。然而，他对技术发展的误判也表明，我们不应该完全相信技术奇点一说。预测技术进步的常见困难以及发展超级智能时特有的问题都应该让我们警惕，不要高估信息处理的力量和效能。
奇点怀疑论的论据
没有任何一种指数式增长能一直持续下去。原子弹爆炸呈指数式增长，但也就持续到燃料耗尽之时。同样地，摩尔定律的指数式增长近来开始进入基础物理所设定的极限之中。计算机的时钟速度在15年前不超过几千兆赫，仅仅是因为速度再高芯片就开始热得熔化了。由于隧道效应和电流泄漏，晶体管的小型化已经进入量子力学领域。最终，摩尔定律驱动的各种存储器和处理器的指数式增长都将停止。然而，再过几十年，计算机的原始信息处理能力也许就能与人类的大脑匹敌，至少按照每秒处理的比特率和位翻转粗略计算的话是如此。
人类的大脑构造复杂，经过几百万年的自然选择变成了现在的样子。在维纳时代，我们对人类大脑构造的了解非常浅显、简单。从那时起，越来越敏感的仪器和成像技术表明，我们的大脑在结构和功能上远比维纳所能想象的更多样、更复杂。最近，我问现代神经科学先驱托马索·波焦（Tomaso Poggio），是否担心随着计算机处理能力的快速提高，计算机将很快赶上人类的脑。“绝不可能。”他回答。
深度学习和神经形态计算方面的最新进展，很好地再现了人类智力的某个特定方面，主要是模拟了大脑皮层的模式处理和模式识别能力。这些进步使计算机不仅能打败国际象棋世界冠军，还能打败围棋冠军。计算机的这种胜利令人印象深刻，但计算机化的机器人却远远不能清理房间。实际上，还没有能在许多灵活运动中具有接近人类能力的机器人，不信你就搜索“摔倒的机器人”。机器人擅长于在装配线上精确地焊接，但它们仍然不能系好自己的鞋带。
原始的信息处理能力并不等同于复杂的信息处理能力。虽然计算机的性能呈指数式增长，但计算机运行的程序却往往根本无法进步。软件公司为提高计算机处理能力采取的主要应对策略就是添加“有用”的功能，但这常常会使软件更难使用。1995年微软的Word可以说是登峰造极，但之后便由于附加了太多功能而慢慢不再那么好用。一旦摩尔定律开始放缓，软件开发人员将在计算机的效率、速度和性能之间面临艰难选择。
对奇点主义的恐惧，主要是担心随着计算机更多地参与设计它们自己的软件，它们将迅速拥有超人的计算能力。但机器学习的真实情况却恰恰相反。当机器的学习能力变得越来越强时，它们的学习方式会变得越来越像人类。许多事例表明，机器的学习是在人类和机器老师的监管下进行的。对计算机进行教育就像对青少年进行教育一样困难、缓慢。因此，基于深度学习的计算机系统正在变得越来越人性化。它们带来的学习技能不是“优于”而是“补充”人类学习：计算机学习系统可以识别人类无法识别的模式，反之亦然。世界上最好的国际象棋棋手既不是计算机，也不是人类，而是与计算机合作的人。网络空间里确实存在有害的程序，但这些主要是恶意软件，即病毒，它们不是因为其超级智能而为世人所知，而是因为恶意的无知而遭世人谴责。