丹尼尔·丹尼特是人工智能领域最优秀的哲学家。在认知科学领域，他最著名的贡献也许就是他的意向系统概念和人类意识模型，这个模型勾勒出一个计算架构，能在大规模并行的大脑皮层中实现意识的流动。这种坚决的计算主义态度受到哲学家约翰·塞尔（John Searle）、大卫·查尔莫斯（David Chalmers）和已故的杰里·福多尔（Jerry Fodor）的强烈反对，他们认为意识最重要的特点，也就是意向性和主观特征，是无法被计算的。
25年前，我拜访了人工智能的先驱者之一马文·明斯基，向他询问丹尼特的情况。“他是目前世界上最好的哲学家，他是伯特兰·罗素第二，”马文说，“与传统哲学家不同的是，丹尼特还研究神经科学、语言学、人工智能、计算机科学和心理学。他把哲学家的角色重新界定，并加以革新。当然，丹尼特不理解我的心智社会理论，但没有人是完美的。”
人工智能研究者努力创造超级人工智能，丹尼特对此的看法非常冷静。“什么，我担心这个？”在这篇文章中，他提醒我们，人工智能首先应该被视为工具，而不是像人一样的同事。
从在牛津大学读研究生以来，丹尼特就一直对信息理论感兴趣。事实上，他告诉我，学术生涯早期时，他特别想写一本关于维纳控制论的书。作为一个有科学方法的思想家，他的一种魅力就是愿意犯错。在最近一篇题为《什么是信息？》的文章中，他宣布：“我支持它，但它现在需要修改。我已经超越了它，我意识到有更好的方法来解决这些问题。”对于人工智能研究，他保持冷静的态度，尽管他承认自己的想法经常在变，就像任何人的想法都在不断发展一样。
许多人曾反思过，当你还太年轻，读不懂一本伟大著作时却去读它，这是多么具有讽刺意味。把一本经典之作扔到已经阅读过的书堆里，会让你们无法受到更深远的影响，而只是从中得到一些不甚明了的思想，这种忽略经典的做法通常是不好的。年轻时我曾读过《人有人的用处》，60多年后当我重读此书时，颇有感触。我们都应该把青年时代读过的书再重读一遍，从中很容易发现，我们自己后来的一些“发现”和“发明”之前都有清晰的伏笔，我们还会发现，对于很多曾经无动于衷的深刻洞见，在经历过生活百态、锤炼大脑、丰富思维后，我们现在终于有所领悟了。
诺伯特·维纳在写作此书时，真空管仍然是主要的电子器件，实际运行的计算机也是寥寥无几，就在这样的时代背景下，他以丰富的细节、较少的错误，设想了我们现在正在享受的未来。艾伦·图灵1950年在哲学期刊《心智》（Mind）上发表了著名文章《计算机械与智能》（Computing Machinery and Intelligence），文中预测了人工智能的发展。维纳也对人工智能的发展做出过预测，但维纳看得更深更远，他意识到人工智能在许多智能活动中不仅仅是在模仿和替代人类，而是在这个过程中改变人类。
我们不过是川流不息的河水中的漩涡。我们并非僵滞的死物，而是延续自己的模式。
当维纳写下这句话时，人们很容易把它看作另一个赫拉克利特式的夸大其词。是啊，是啊，你不能两次踏入同一条河流。但它包含了观念革命的种子。今天，我们知道该如何思考复杂适应系统、奇异吸引子、扩展心智和内稳态，这种观点的改变有望消除心智与机械、精神与物质之间的“解释鸿沟”(9)，这种鸿沟仍然受到现代笛卡尔信徒的热烈维护。他们无法接受忍受这样的想法，也就是我们，我们自己，是承载信息的物质自我延续的模式，而不是“僵滞的死物”。这些模式弹性好，自我恢复能力强，但同时又非常善变，属于机会主义者，自私自利，为寻求永存会不惜利用一切新鲜事物。正如维纳指出的那样，事情的不确定性就源于此。当出现极具吸引力的机会时，我们往往愿意花一点钱，为获得新的能力接受一些小的，甚至是微不足道的代价。很快，我们对新工具如此依赖，没有它们我们便无法发展。原本只是选项，现在却成了必需品。
这是一个古老的故事，在进化史上有许多记载。大多数哺乳动物都能合成自己的维生素C，但是灵长类动物自选择以水果为主的饮食后，便失去了这种先天的能力。现在我们必须摄取维生素C，却不必像我们的灵长类近亲那样必须摄取水果，因为我们已经有了技术，能制造、摄取所需要的维生素。我们称之为自我延续模式的人类现在依赖于衣服、熟食、维生素、疫苗、信用卡、智能手机和互联网。还有——人工智能。
维纳预见到了图灵和其他乐观主义者大多忽略掉的问题。他说，真正的危险是：
这样的机器，虽然其本身没有杀伤力，但却可以被一个人或一群人利用，以加强对其他种族的控制；又或者，危险之处在于，政治领导人不是靠机器，而是靠政治手段试图控制人民，这些政治手段对人类的可能性狭隘视之且漠不关心，就好像它们实际上是机械构思出来的。
他认识到，这种统治威力主要取决于计算程序，而不是运行的硬件，尽管今天的硬件使得维纳时代显得异常烦琐的计算程序，实际上已经变得可行。对于那些“对人类的可能性狭隘视之且漠不关心”的“手段”，我们有何话说？这些“手段”一次又一次地出现，很显然，有一些是好的，有一些是危险的，但还有许多处于无所不在的有争议的中间地带。
想想那些冲突。我已故的朋友约瑟夫·魏岑鲍姆（Joseph Weizenbaum）是维纳的继任者，是麻省理工学院的高科技先知，他喜欢观察信用卡，发现无论信用卡有哪些优点，都能为政府或公司提供一种廉价且几乎是万无一失的方法，来追踪个人的旅行、习惯及愿望。除了毒贩和其他罪犯，现在很少人使用具有匿名性的现金，现金可能正走向灭绝。这将使得洗钱在未来所面临的技术挑战越来越大，但针对此的人工智能模式查找器却有一个副作用，它使我们对于那些“企图控制”我们的“人群”而言变得更加透明。
再看看艺术，除了最热心的听众和电影爱好者之外，几乎所有人都这样认为：数字音频和视频录制的创新让我们仅付出很小的代价便放弃了模拟格式，反过来，它还为我们提供了简单（是不是太简单了？）的复制方法，有着近乎完美的逼真度。但，这里隐藏着巨大的代价。奥威尔的“真理部”现在已经成为可能。人工智能现已有了这种伪造技术，能伪造出几乎难辨真假的“记录”，这使得在过去的150年里我们一直视之为理所当然的调查手段现在已经过时。我们是放弃短暂的摄影取证时代，回到以人类记忆和信任为黄金标准的早期世界，还是在真理军备竞赛中发展新的防御和进攻技术？我们可以想象回到曝光胶片的模拟时代，这些胶片在没有出示给陪审团等人看之前一直存放在“防篡改”系统中，但多久之后就会有人想出方法，使人们对该系统起疑心？最近发生的事给了我们一个令人不安的教训，那就是，破坏信誉比保护信誉要容易得多，所需付出的代价也小得多。维纳看到了该现象最本质的一面：“……从长远来看，武装我们自己与武装敌人，两者之间没有什么差别。”信息时代也是虚假信息时代。
我们能做些什么？维纳、魏岑鲍姆和其他人严肃批评了我们这些亲技术派人士，借助于他们所做的有热情但也有缺陷的分析，我们需要重新考虑优先事项。在我看来，一个关键短语就是前面提到的维纳的近乎漫不经心的观察，他说“这些机器”“其本身没有杀伤力”。正如我最近一直在讨论的，现在我们正在制造的是工具，而不是同事，最大的危险是无法欣赏差异，这种差异是我们应该努力通过政治和法律创新来强调、标记和捍卫的。
也许，看待我们错失了什么，最好的办法就是注意到艾伦·图灵自己在设计著名的图灵测试时遇到了完全可以理解的想象力的失败。众所周知，该测试改编自“模仿游戏”，在这个游戏中，一个男人躲起来不被看到，他与法官聊天，试图使法官相信他实际上是个女人，而一个女人，也躲起来，她也与法官聊天，试图使法官相信她才是女人。图灵认为，这对于一个男人（或者假扮男人的女人）来说是一个艰巨的挑战，因为他或她要非常了解异性的思考和行为方式，了解他们喜欢什么或不懂什么。当然（叮！）(10)，在这样的游戏里，被看成是比女人还女人，这样的男人一定是特工。但图灵没有预见到的是人工智能的深度学习能力，人工智能不必理解信息，就可以获取这些信息并利用它。图灵设想了一个机敏、富有想象力、清醒的特工，他巧妙地根据女性可能做什么和说什么的详细“理论”设计了自己的反应。简言之，这是一个自上而下的高智能设计。图灵肯定不会认为获胜的男人就真的变成了女人，他会认为这是一个男人的意识主导了游戏。在图灵的论点中有一个隐含前提是：只有清醒、聪明的特工才能在模拟游戏中设计并使用获胜的策略。因此，图灵（以及包括我在内的其他人，仍然坚定地支持图灵测试）认为，在与人类竞争时，能够像人类一样通过测试的“计算机器”可能不会拥有人类的意识，但无论怎样它一定有某种意识。我认为，这仍然是一种可辩护的立场，而且是唯一可辩护的立场，但是你必须明白，一个法官需要多么足智多谋，才能揭露一个有着深度学习能力的人工智能（一种工具，而不是同事）的肤浅本质。
图灵没有预见到的是，超高速计算机具有不可思议的能力，能够在互联网提供的取之不尽、用之不竭的“大数据”中盲目筛选，找到人类活动的概率模式，借此，对于法官想要做的几乎任何调查，这种模式都可以将貌似“真实”的响应弹出到输出框中。维纳也低估了这种可能性，他只看到机器的弱点在于：
不能将代表人类处境特征的大范围可能性考虑进来。
但是把大范围可能性考虑进来正是新的人工智能所擅长的。人工智能的唯一欠缺就是“浩瀚”一词；由于人类语言及其所孕育的文化之故，人类拥有真正“浩瀚”的可能性。(11)到目前为止，在互联网的大量数据中，不管我们和人工智能发现了多少模式，一定还有浩瀚的模式从未被记录下来。世界上积累的智慧、设计、妙语和愚蠢，只有一小部分（但不是微渺）被上传到互联网上，但在图灵测试中，面对候选人，法官能采用的更好的策略不是去寻找这样的事情，而是将之全新创造。人工智能目前表现为依附于人类的智力。它完全不分青红皂白地吞噬着人类创造者所创造出来的一切，并从中提取模式，包括我们一些最有害的习惯。(12)这些机器还没有目标或策略，也没有能力进行自我批评和创新，从而无法反思自己的思想和目标。正如维纳所说，它们是无助的，没有杀伤力的，不是指它们是被束缚的或没有行为能力的主体，而是指它们根本不是主体——它们没有能力为“被理性驱动”（康德这样说）。保持现状，这很重要，但这也很难做到。
魏岑鲍姆的《计算机力量与人类理性》（Computer Power and Human Reason）一书有一个缺点，很长时间以来我一直与他探讨，试图说服他，却没有成功，这个缺点就是在以下两种观点中，他永远不确定自己为之辩护的究竟是哪个：人工智能是不可能的抑或人工智能是可能却有害的！他想与约翰·塞尔和罗杰·彭罗斯（Roger Penrose）争辩说，“强大的人工智能”是不可能的，但是他没有足够的理由来支持这个结论。毕竟，我们现在所知道的一切都表明，正如我所说的，我们是由机器人所制造的机器人所制造的机器人……一直到马达蛋白及其同类，其中并没有神奇的成分。魏岑鲍姆提出的更重要、更具有辩护力的信息是，我们不应该努力创造强大的人工智能，而应该极其谨慎地对待我们能够创造和已经创造的人工智能系统。就像人们所预期的那样，我们能辩驳的论点是不同观点的混合：强人工智能原则上是可能的，但不是我们想要的。完全可能的人工智能未必是邪恶的，除非把它当成强人工智能！
今天我们现有的智能系统和科幻小说中的智能系统之间有着很大的差距，虽然许多人，无论是外行和内行，都试图低估这种差距。我们以IBM公司的沃森认知技术为例，这一技术目前可以算是我们人类想象力的一个颇具价值的里程碑。这是许多人历时几百年进行大规模智能设计研发的结果，正如乔治·丘奇所指出的那样，它使用的能量是人脑的数千倍。他也指出，由于技术上的限制，这可能只是暂时的。沃森在智力问答节目中的胜利是真正的胜利，这有可能是由于节目规则的刻板限制才会获胜，但为了使之发挥能力，甚至要修改这些规则。其中的一个折中办法是：放弃一点多样性，一点人性，得到一个令人满意的节目。沃森不是好伙伴，尽管IBM的广告有些误导性，让公众相信沃森拥有一般的会话能力，但把沃森当成一个貌似真实的多维立体主体，就像把手动计算器当成沃森一样可笑。对于这样的主体来说，沃森可能是很有用的核心器官，但与其说它是一个大脑，不如说只是一个小脑或杏仁核，充其量只能是一个有特殊用途的子系统，它可以起到很大的支持作用，但远不能胜任制定目标、计划以及进行有意义对话的任务。
我们为什么要把沃森变成一个有思想、有创意的人类主体呢？也许图灵的那个测试把我们引进了陷阱中：去寻求在屏幕后至少创造出一个真实人物的幻觉，去跨越“恐怖谷”(13)。这里的危险在于，自从图灵提出挑战之后，人工智能的创造者便试图用可爱的仿人触感、迪斯尼化效应来粉饰“恐怖谷”，使外行们沉迷其中，不能自拔。魏岑鲍姆的ELIZA是创造这种肤浅幻觉的先驱，他的那个简单肤浅的程序使人们相信他们正在认真而倾心地交谈，对此他感到沮丧。正是这种沮丧感使他开始有了自己的使命。
他有理由担心。如果说从严格的图灵测试比赛勒布纳奖（Loebner Prize）角逐赛中我们能学到什么，那就是即使是非常聪明的人，如果不了解计算机编程的可能性和捷径，也很容易被简单的小把戏欺骗。人工智能界人士对这些“用户界面”上的伪装方法态度不一，有轻蔑，有喝彩，但普遍都认为这些技巧并不深奥，却很有效。如果人们的态度能发生转变，坦率地承认人形装饰品是虚假的广告，应该被谴责，而不是喝彩，那该多好啊。
怎样才能让这种转变发生呢？一旦我们发现人们开始主要基于人工智能系统的“建议”做出生死攸关的决定，而这一系统的内部操作很难理解，这时我们就能理解，为什么那些想方设法鼓励人们要更多地信任这些系统的人，应当承担更多道义上和法律上的责任。人工智能系统功能非常强大，对于这一系统做出的“判断”，甚至是专家也有理由不相信他们自己的看法到底正确与否。但是，如果使用这些系统的人会因为使用该系统做了常人未曾做过的事而受益，无论是经济方面受益还是其他方面受益，他们都需要确保他们知道如何能以最大的控制力和正当理由，负责任地做到这一点。就像我们给药剂师、起重机操作员和其他专家授权许可一样——他们的错误及错误判断会造成严重后果，给操作员发许可证并对他们进行约束，在保险公司和其他保险商的压力下，可以迫使人工智能系统的创建者不遗余力地寻找、揭示其产品的弱点和差距，并培训那些操作系统的人。
人们可以想象，在一种反向的图灵测试中，接受试验的是法官：除非他或她能够发现弱点、找到越界的证据、洞察系统中的漏洞，否则就得不到操作许可证。而要获得成为法官的认证，需要进行大脑训练，这种训练苛刻无比。无论何时，只要遇到一个似乎很聪明的主体，我们就有一种强烈的欲望想要对其采取意向立场。事实上，拥有能抗拒住把有着人形外表的机器看成人的念头的能力并不好，它代表了种族主义或物种主义。许多人发现这种怀疑一切的方法在道义上令人反感，我们也可以预期，即使最熟练的系统用户，只要能够缓解执行职责时的不适感，偶尔也会忍不住与他们的工具“交朋友”。不管人工智能设计者如何小心翼翼地消除假“人类”的痕迹，我们都能预期到，在这个全新的人类活动设定下会出现全新的思维习惯、对话的伎俩和诡计、陷阱和虚张声势。电视广告上介绍的新药有很多已知的副作用，但和必须揭露的问题相比就相形见绌了，这些问题是特定系统无法负责任地回答的，对那些“忽视”他们产品中缺陷的人应处以严厉的惩罚。人们普遍注意到，当今世界日益严重的经济不平等在很大程度上是由于数字企业家积累的财富造成的；我们应该制定法律，为了公共利益，将他们的财产交由第三方代管。在这些义务面前，一些最富有的人自愿首先服务社会，其次赚钱，但我们不应该仅仅依靠善意。
我们不需要有意识的人工主体。有自然意识的人类的数量已经太多了，足以处理那些该由特殊及特权机构处理的任何任务。我们需要的是智能工具。这些工具没有权利，也没有会被伤害的感情，亦不会愤愤不满于笨拙的用户对它们的“虐待”。(14)不让人工主体有意识的原因之一是，不管它们变得多么有自主性（原则上，它们可以像任何人一样有自主性、能自我提高或自我创造），如果没有特殊规定的话，它们不会像我们这些有自然意识的人类一样，有弱点，会死亡。
在塔夫茨大学的一个研讨会上，我与马蒂亚斯·朔伊茨（Matthias Scheutz）共同教授人工智能和自主性，我向学生提出一个问题：描述一个机器人的规格，它能与你签署有约束力的合同，不是代表其人类主人，而是代表它自己。这不是让它理解条款或操作笔在纸上写字的问题，而是它作为一个道德上负责任的主体有并“应该有”的法律地位的问题。小孩子不能签这样的合同，那些按照法律要求要受到这种或那种监护人的照顾并由监护人承担责任的残疾人也不能签这样的合同。对于那些可能想要获得如此崇高地位的机器人来说，问题是，就像超人一样，它们太无懈可击以至于无法做出令人相信的承诺。如果它们要背弃承诺，会怎样？它们没有信守诺言，能给它们什么样的惩罚？是把它们关在牢房里，还是更合理些，把它们拆了？除非我们最开始时给它们安装了人工漫游癖，而且人工智能自己不能忽略或禁用这种人工漫游癖，否则把它们关起来对于它们来说几乎不会带来任何不便；并且考虑到我们假定人工智能很狡猾，有自知，那么系统上很难使这个解决方案万无一失。如果存储在设计和软件中的信息得以保存下来，那么拆除人工智能并不会杀死它，无论是机器人还是像沃森一样的无法动弹的主体都是如此。数字记录和传输是一种重大突破，使得软件和数据实际上可以永远存在，依靠它，机器人获得了永生——至少我们通常想象的那种机器人有着数字软件和记忆。如果这还不明显，那么想想假如我们每周都能制造一些“备份”人，人类的道德会受到怎样的影响。当你周五晚上的备份在周日早上传到网上，那么你不会记得周六你没有系蹦极绳，从高桥上大头朝下跳了下去，但是你之后可以欣赏到你的死亡录像带。
所以我们创造的不应该是有意识的类人主体，而应是一种全新的实体，更像是圣人，没有良知，没有对死亡的恐惧，没有令其分心的爱和恨，没有个性，但是各种各样的弱点和怪癖毫无疑问会被看成是系统的“个性”：一箱箱的真理（如果我们幸运的话）几乎可以肯定会被零星的谎言所污染。学习与它们共存却不被这些人工智能奴役我们的奇点论所分心，真的很难。人有人的用处将很快改变，再次、永远地改变，但如果我们对自己的行为负责，我们就可以在危险之间掌握主动权。
We are in a much more complex situation today than Wiener foresaw, and I am worried that it is much more pernicious than even his worst imagined fears.
我们今天的处境比维纳预想的要复杂得多，我担心这比他预想的最糟糕的情况还要糟糕得多。
罗德尼·布鲁克斯
Rodney Brooks
罗德尼·布鲁克斯是一名计算机科学家，麻省理工学院机器人学荣誉退休教授，麻省理工学院计算机科学实验室前主任，以及Rethink Robotics的创始人、董事长兼首席技术官。著有《肉体与机器》（Flesh and Machines）。