万书网 > 心理哲学 > 斯坦福社会创新评论02 > 关于评估的无谓之争

关于评估的无谓之争




作者:安妮·杜弗洛

海蒂·麦克安娜利-林兹

译者:聂传焱


为全球的贫困人口寻找出路不需要在理论和决策之间做出取舍,好的评估能够两者兼顾。


我们所在的机构——扶贫行动创新研究会(IPA)创办于2002年。这是一家主要从事研究和政策倡导的非营利组织,旨在探索和推广消除全球贫困问题的有效解决方案。迄今为止,我们已经与400多名学者共同合作,对包括加纳、菲律宾在内的全球多个国家的扶贫方案进行了650多次严格评估。

在推进工作的过程中,研究人员和实践者们紧密合作,以识别、设计和严格评估各种解决方案,这些方案都有理论和实地经验作为依据。我们的评估工作既为短期、实践性的政策制定提供服务,也为更长远的认知和决策制定提供信息支持。正因为如此,我们对最近评估专家们关于评估究竟应基于决策还是基于理论的争论深感困惑。

这场争论中,一方认为,严谨的评估应更侧重于帮助决策者及时做出判断,例如如何以最佳方式开展现金援助。而另一方则认为,应该基于理论来设计评估,以帮助我们了解诸如现金援助的运作机制和生效原因,以及它们是否能够在其他情境下同样生效。我们认为,争论的双方提出了一个非黑即白的错误论点。

这种区分方式意味着基于理论的评估并不为决策制定服务,但事实恰恰相反。我们已经知道,好的评估应该而且经常能够同时为这两者提供信息支持。如果评估者只对推进理论研究感兴趣,那么对其合作伙伴来说有损无益;如果仅致力于通过评估来完善相关的特定项目,则意味着错失了可以帮助数以百计也在努力解决同样问题的其他项目和机构的机会。

某些类型的决策并不需要通过基于理论的评估来得出答案,特别是那些时间紧迫的实务性决策。但是,能够同时兼顾理论和决策需求的评估总是更有力量。

以我们2010—2014年在赞比亚针对社区卫生工作者的研究为例,该研究是在纳瓦·阿西拉夫(Nava  Ashraf)、奥利娅娜·班迪耶拉(Oriana  Bandiera)和斯科特·李(Scott  Lee)的领导下开展的。这项评估比较了招聘社区卫生工作者的两种不同策略:强调职业发展机会,或是强调对社区的贡献。我们发现,以职业发展为导向的信息吸引了更合格、更优秀的工作者。这项研究在很大程度上是为决策服务的:卫生部利用研究结果来决定如何招募更能干的社区卫生工作者。但这也是一项基于理论的评估:它帮助我们了解这些工作者的动机及相关的运行机制,即在卫生服务的最终效果上,哪种招聘策略更好。

并不是每一项评估都能满足眼前决策的需要。但是,如果评估的主要目的是帮助穷人改善生活,那么决策者就不仅需要对已有的项目和政策做出判断,还要能够决定长期该怎么做。他们要知道必须采纳哪些新的或有创新意义的政策,哪些政策在其他地方也有效、在什么情况下有效,以及某类干预措施如何在其他情境中发挥作用。



评估的三层推进模式


我们所制定的扶贫行动创新研究会战略既能帮助解答这些问题,亦可引导实践者做出相关决策。但是,我们不会将评估分类为基于理论或是基于决策,而是更倾向于将我们的做法视作一个三层推进模式,以此反映在一个项目完整周期的不同阶段,需要采取哪些类型的决策。



1.概念验证


我们开展的大部分评估项目属于我们所说的“概念验证”研究,也是首次对一个想法的有效性进行评估。这可能意味着测试某个全新的设想(例如一个创新的存款产品),首次评估一项业已完善的干预措施(如小额信贷),或比较一个项目的不同实现方式(如价格补贴或招聘策略)。

我们在设计这些研究时通常会与研究人员和实践者合作,并帮助合作伙伴就正在开展或可能开展的计划或政策做出决定。例如,赞比亚的社区卫生工作者研究项目帮助政府部门更高效地招募了5000名社区卫生工作者。

这其中有一部分研究起初并没有与执行伙伴共同开展,因此可能被当作是仅基于理论的研究,但这些概念后来还是被执行机构所采纳。例如,在2009到2012年,经济学家欧内斯特·阿利提(Ernest  Aryeetey)、伊萨克·奥赛-阿克托(Isaac  Oseiakoto)、迪安·卡兰(Dean  Karlan)和克里斯·伍德瑞(Chris  Udry)开展了一项研究,旨在关注如何鼓励加纳农民投入更多资金来购买更好的种子和工具。这项研究比较了两种解决方案:第一种直接向农民提供现金,第二种则通过补贴降雨指数保险来帮助农民们管理农业风险。我们发现,限制他们投资的主要原因是农业风险,而不是缺乏资本。虽然我们在研究过程中担任了保险代理人的角色,但我们的研究结果说服加纳保险业引进了补贴降雨指数保险的模式。

在概念验证阶段,很多情况下是我们来帮助机构对项目做出决策。但在这个过程中,我们几乎无一例外地对现有机制的有效性及相关的人类行为学加深了认知,以此填补我们的知识空白,而这反过来能为未来的决策提供信息支持。



2.概念引入


这个阶段包括测试一个项目的特定组成部分的关联性,例如某项机制在哪里实施、由谁操作执行、不同的运行模式是什么、项目的哪些部分最具成本效益等。当我们将概念引入不同的情境,就能加深对现有机制的理解,也因此能够拓展其普适性。

概念在各地的实地复制在这一阶段显得至关重要。这种复制包括不同的形式,从简单的“拷贝不走样”到在多种不同情境下进行全面调整的试验。前者能帮助我们更精准地提炼现有机制,后者的例子包括我们在2015年针对六个国家进行的“赤贫人口脱贫模式”(the  ultra-poor  graduation  model)研究。这个大型项目表明,针对贫困引发的众多难题的“大推动”(big  push)计划,同时提高了赤贫人口的生计、收入和健康状况。在进行此类实地复制时,可以通过不同类型的执行机构(如非营利组织或政府),或更大规模执行(例如,当项目从数个社区或地区推广到全国),来考察某一做法在不同地区或国家(如脱贫模式)是否有效。

在这个阶段,理论与实地复制相结合能让我们理解某一做法在离开初始评估情境后为何有效或失效,以及如何将某一概念从一个情境引入到另一个情境。如果这些引入显示某一特定理论适用于各种情境,那么,以此为依据的政策就会具备很大的影响力。例如,赤贫人口脱贫模式的成功复制推动了政府和发展机构将该模式推广到数百万人当中。



3.倡导、制度化和规模化


在这一阶段,我们会协助将成功的机制嵌入现有系统当中(例如,将上述赤贫人口脱贫模式纳入政府的社保计划中),呼吁捐助者或政府大规模资助特定机制(例如,资助以学校为基地的驱虫计划),并引导实施者采取最有效的方式来执行项目(例如,执行驱虫计划时,免费提供蚊帐而不是收费)。

尽管为简化起见,我们将这称为第三阶段,但我们知道,只有在第一和第二阶段就不遗余力地吸引合适的决策者来关注、理解相关问题,并定期告知他们最新动态,才有可能获得他们的支持。

我们的目标不仅是推广成功的想法,更在于培养基于证据决策的文化。我们可以通过支持政府将基于证据的决策制度化,来大范围地拓展证据使用的领域。举例来说,我们和姐妹组织——阿卜杜勒·拉蒂夫·贾米尔反贫困行动实验室(J-PAL)一起与秘鲁教育部合作,协助在该部门内成立一个专门的实验室(MineduLAB),用于考察创新教育解决方案,并将有效方案运用到政策当中。