在对外援助中采用随机试验的想法出现的时间，远比在医学中采用随机试验的想法要晚，当然有一个特殊的原因是对外援助的历史本身就不长。1949年，世界银行才拨出了第一笔贷款，而且拨给了法国。但是在一群年轻研究员的努力下，国际发展领域的对照试验近年来得以蓬勃发展，后来，这群年轻人被冠上了随机试验学派的头衔。“如果我们不知道自己的行为是否有益，那我们比中世纪的医生和他们使用的水蛭强不到哪儿去。”说这番话的是一位重要的随机试验人员埃斯特·迪弗洛（Esther Duflo），“有的病人会好转，有的病人去世了。原因是水蛭，还是其他东西呢？我们不知道。”
20世纪90年代末，肯尼亚进行了3个有趣的试验，这些试验让人们认识到为什么在推动贫困国家发展时，随机试验大有裨益。荷兰慈善组织国际儿童救援组织（International Christelijk Steunfonds，简称ICS）为肯尼亚的布西亚（Busia）和特索（Teso）两地的政府拨款，开展学校援助项目。这个项目提供资金为25所学校购买英语、科学和数学的教科书。但是，这个救援组织不是简单地选取25所最值得投资的学校，或者说最有社会影响力的学校，相反，它采取了更明智的举动，邀请3位研究人员对项目进行指导，他们是哈佛大学的迈克尔·克雷默（Michael Kremer）、明尼苏达大学的保罗·格利维（Paul Glewwe）以及世界银行的西尔维·穆林（Sylvie Moulin）。他们3人从肯尼亚政府提供的100所值得投资的学校名单中随机挑选了25所学校。
所有的传统统计方法都间接表明：教科书能极大地提高孩子们的考试成绩。不过，就像詹姆斯·林德曾猜测坏血病发病的原因是缺乏啤酒一样，这样的结论也可能是数据搞的鬼。在有教科书的学校里，学生父母的经济条件可能会更好，老师也更有影响力，如果整理数据的人无视这些因素就得出学习成绩和教科书有关，这样的结论就可能站不住脚。
事实确实如此，格利维、克雷默和穆林分析了随机试验的数据，发现几乎没有证据表明教科书能帮孩子提高成绩，至少在这个环境中是这样。最聪明的孩子受益颇多，但是多数孩子都没有收获。可能因为这些教科书的目标是满足首都内罗毕那些条件得天独厚的孩子们的需要，而且它们都是英文书，而英语只是多数更贫穷的孩子们的第三语言。
多数援助组织根本不会这么细致地开展工作，相反，它们会强调一些表明教科书看上去很有前景的研究，然后印制大量的手册来解释它们发放了多少本教科书。国际儿童救援组织却不怕麻烦，希望知道教科书项目到底值不值得支持，结果却发现这个项目根本就没有价值。
国际儿童救援组织没有因此放弃试验，也没有印制大量手册解释为何放弃，相反，它又开展了一个试验，这一次它给老师们发放了带插图的活动挂图作为课堂教学的辅助材料。这些活动挂图涵盖了科学、健康、数学、地理、农业各科，这种方式比教科书更有前景：挂图用鲜明的图片为那些阅读能力不高或习惯用视觉方式获取信息的学生传授知识。如果采用标准统计方法，这些挂图会很有成效。国际儿童救援组织拿到了178所学校的名单，随机抽取了一半的学校发放挂图，但挂图项目也失败了。
国际儿童救援组织依然毫不气馁，它又拨款在肯尼亚教室进行了第三个试验。这一次，它出资为孩子们治疗蛔虫。谁也想不到用这种方法来提高教育质量，但是和挂图、教科书一样，这种方法也有点道理。蛔虫是导致营养不良、妨碍身体成长的寄生虫。孩子们尤其容易感染蛔虫，因为农村很少有公厕，孩子们经常光着脚在其他孩子大小便的地方玩耍。这一次，国际儿童救援组织分批在75所学校为孩子们治疗蛔虫。最早的25所学校的孩子们马上就得到了治疗，两年之后，该组织又为另外25所学校的孩子们治疗蛔虫病，再过两年轮到最后一组学校。这个项目大获成功，孩子们的身高增加了，再次感染蛔虫的几率减少了，旷课率也降低了1/4，而且治疗费用不高。
更妙的是，国际儿童救援组织不需要花太多钱就能严格进行这项驱蛔虫试验。由于资金不足，国际儿童救援组织无法为肯尼亚布西亚、特索地区的所有学校提供杀蛔虫药片，它需要逐步展开这个项目。只要确保这个逐步开展的项目是随机进行的，就能为迈克尔·克雷默及同事爱德华·米格尔（Edward Miguel）提供完美的数据，他们就能公平地判断这个驱蛔虫项目究竟是了不起的成功之举，还是像之前那些貌似行得通的项目一样让人失望。
然而，很多人和阿奇·柯克伦的医学界同僚一样，对这种事情持怀疑态度。国际儿童救援组织和那些随机试验在拿人做试验，在拿孩子做试验。这样做道德吗？毕竟，要是我们有理由相信某种政策或治疗方法大有裨益，难道我们不应该让所有人都因此受惠吗？要是我们没有理由相信某种政策、治疗方法或救济品有效，我们为什么还要硬把它塞进那些弱势人群的喉咙里呢？
来自哥伦比亚大学的卓有声望的发展问题经济学家杰弗里·萨克斯（Jeffrey Sachs），就高调宣布避免采用随机试验法。萨克斯是“千年村庄计划”（Millennium Development Villages）背后强有力的支持者，这是个小规模的试验计划，旨在从农业、健康、教育、可再生能源等各个方面，对散布在非洲的十几个社区约4万人进行援助，从而验证这种一系列复杂的援助干预是否有效。萨克斯认为这种活动很有必要，不仅因为穷人们有很多需求，还因为这个试验会产生“重要的增效作用”。
原则上讲，这种多层面援助方式的效果应该在随机的基础上进行检验，即有些人得到了全套的援助干预，而随机选取的没有接受援助的人与之形成对照组。但杰弗里·萨克斯决定不采取这种做法。对照组的人们要接受询问、评估，但他们却什么也得不到，萨克斯质疑这种做法是否道德。他在接受《纽约时报》采访时说：“到一个村子里去却不发给他们蚊帐，这让我感到很痛苦。”
随机试验不必总以那种痛苦的方式进行，对照组的人不一定什么也捞不到。医疗试验中最为常见的做法，就是把新药品和现有的最好治疗方法做对比。千年村庄计划也可以进行这样的随机试验，一个试验组得到全套的援助活动，对照组得到价值相当的援助替代物，这笔钱也相当可观，对照组的援助方式更为简单，最基本的合理做法就是把钱给村民、让他们想怎么花就怎么花，然后将两个试验组进行比较。
所有参加试验的人都会受益，全世界的人也都能看到，要想获得成效是简单地注入资金，还是像萨克斯声称的那样需要专业打造的多层次援助方式。一般人还真看不出这么做有什么麻烦，当然有些人除外，这些人和柯克伦拥有“上帝情结”的同僚们一样，自认为已经知道答案。
这些之所以重要，是因为“游戏水泵”问题依然存在：在推动贫困地区发展时，形象感人、逻辑合理的项目能对人们产生强大的刺激。就像英国《卫报》编辑马德琳·邦廷（Madeleine Bunting）指出的那样：“各地的各种示范村总是能感染捐款人，即使这些村庄条件粗陋至极，看上去也往往很不错。把东西收拾到一起，这个地方看起来就很像样。但事实上，最后却证明这些东西都不持久。”
我们不能想当然地认为复杂的援助项目必定会有成效，埃斯特·迪弗洛和爱德华·米格尔等评估专家也因此批评了千年村庄计划的评估方式。这种援助可能会卓有成效，也可能一无所获，但是不采用随机试验，很难知道到底怎么样。
ADAPT Why success always starts with failure
试错法则
用抛硬币的方法来确定新颖、规模宏大的援助项目会眷顾谁，这种方法让人于心不忍。但是，让人沉痛的真相是，与在相对富裕的背景中进行的西方临床试验不同，发展项目的随机试验正是在大批人被剥夺权利的背景下进行的。无论试验存不存在，多数人都得不到他们需要的帮助。事实上，正是因为缺乏发展援助，试验才能更加轻松地开展，并从而提供有益的信息。国际儿童救援组织一次为25所肯尼亚学校的孩子们提供驱蛔虫的药片，不是因为它想用这种方式展开试验，而是因为没有资金同时帮助所有人。这个试验只是从必须采取的方式中寻找价值。当然，如果国际儿童救援组织没有试验的意愿的话，一开始就不会给任何孩子发放驱蛔虫药片，那些资金可能就会被用来购买无用的教科书和挂图，强行送给越来越多的学校。