李祎礽:没有专门的评估预算和专家,如何做监测评估?
2022-12-22


图片

图:李祎礽在「多维评估指导下的项目迭代与创新」平行论坛上演讲



本文根据悦享新知课程制作总监李祎礽2022年会平行论坛「多维评估指导下的项目迭代与创新」上的主旨发言整理。



在真实世界中,没有专门的评估预算和专家,能做监测评估吗?这个问题听起来很直接,很简单,肯定能做。我们要想一想,理论上的能做,跟事实上的能做是一件事情吗?那肯定是两件事情。

 

我们来看一下实际情况,我们先拟人化一下,假如我是个小小的公益机构,我秉承着初心和愿景,带着团队做到了一些我想要做的事情,给服务对象带来一些期待和希望。在做项目的过程中,我也听到了服务对象给予的正向反馈,当我以为工作要结束的时候,听到了一些声音:「我们的评估专家说,评估特别重要,你要从评估的角度验证你的项目有没有效,这样才能判断你的项目是否有价值。

 

专家说:「评估是一门学科,它对项目的迭代优化改进很有价值。」除了专家老师,我们的出资方也会给我们一些期待,他们会发出一系列灵魂拷问:「我的资金投入进来之后,实现的价值是怎样的?收获到了什么东西?当初沟通时想要的结果,现在实现了吗?实现程度又是怎样的?

 

除了专家和出资团队,我们机构内部也会问这些问题:「我们一年到头辛辛苦苦地忙碌,我们的工作到底有价值吗?如果我们的工作真的有价值,为什么我们有些服务对象和合作方还是不满意呢?」

 

作为一个小小的公益机构,在每天的工作中都会听到不同相关方对我的期待。我当然知道评估很重要,也很有价值。但事实上,除此之外,我还遇到了什么情况?

 

 


图片

 真实世界中的评估所面临的挑战 



我不是专业学评估出身的,面对很多专业词汇、评估框架时,可能不太能理解。虽然我报名听了一些讲座,自己研究框架评估的理论,但总觉得人家的方法跟我的工作有点距离,好像不能直接使用。当我听别人的案例分享时,觉得这个案例可能需要投入很多的人、很多钱,甚至可能需要信息系统才能做到。作为一个小机构,我能做到这个事情吗?

 

这是第一个挑战,在我刚开始考虑做监测评估时,可能会考虑到的问题。


图片


当我真满怀信心去做时,目标衡量很美好,但我不知道该怎么设计指标,就算因果链、指标设计、过程管理我都懂了,也需要整个团队都理解,甚至一线的合作伙伴也能理解,才能收集到有用的信息。怎样让我的团队理解、支持、收集信息?这是我要面对的第二个挑战

 

好不容易收集到数据,第三个挑战来了,要怎样运用统计分析结果?感觉这些信息我不收集也知道,但我收上来之后,应该怎样应用?有时我们会请第三方出评估报告,有些报告可能会「生搬硬套」一些理论框架,其实与项目还是有一些距离。

 

如果给评估老师反馈,提出一些建议,是不是评估就能做好一点?但问题是,我不知该如何跟反馈,我不专业,没有依据跟老师反馈。


作为一个小小的公益机构,我知道理论很重要,评估是很好的,但现实情况是面临着上面三个难题。

 

 

图片

 不同发展阶段,对评估有不同期待 



今天分享的主题是:在真实世界中,没有专门的评估专家预算和专家,还能做评估吗?

 

其实在日常生活中,每个人每天都在经历着一些评估工作,如今天天气好不好、冷不冷,虽然没有专业的指数、没有专家测评,但我们看到蓝天白云,就能判断今天天气好不好。

 

在日常生活中,我们常说「性价比」这个词,我们的钱花得值不值?值不值得花一个半小时参加这个会议?这也在判断着我们参与的价值。所以每一个人在工作中,都存在着非常强的评估的思维。


 

图片


回到项目中,为什么在实际项目中,我们就那么难呢?因为我们的项目充满了假设,只要我做成了这个,就能达成那个,只要做了这件事情,服务对象就能改变,是充满了假设的项目体,而且是多元的参与,在这个过程中,每个人(利益相关方)都对这个项目充满了期待。

 

我们明确了要做监测评估,那怎么做?关键在于我们要判断项目所处的阶段。比如项目正处于0-1的阶段,我们刚开始设计了一个服务理念,需要验证它是否有效,这时需要判断我的工作是不是有价值,能不能解决问题。经历了0-1的阶段之后,下一阶段可能要做规模化,将它拓展应用到不同地区,这时评估关注的内容是,项目可不可能在不同的地方落地,落地的可行性怎么样,在不同地方落地后能否保持它的价值。

 

在不同阶段,我们要做不同的监测评估工作,要回答的问题也是不一样的。

 

 

图片

 如何做评估?需求X可执行空间 



怎么做监测评估?要不要做对照组、做前后测,做前后测的工具是什么?需不需要第三方、需不需要专家,要花多少钱?这些都没有统一的标准答案。我们更多还是要看到,为什么要做监测评估?谁想做这个事情?核心在于,为什么要做监测评估,做完监测评估,要拿评估的发现和产出来做什么事情?

 

当问这些问题的人不同,项目所处的阶段不同,开展评估的方法肯定是有差异的。我们要明确,监测评估要根据项目的发展阶段来做。有一个很关键的信息想跟大家分享,没有说谁做了监测评估就一定适合我们。比如我们看到不同项目的分享、优秀的监测评估案例,那是他们基于自己项目所处阶段和需求所作的项目评估的决定。但适不适合我们的项目?要根据自己项目的需求来判断。


图片


接下来到规划阶段,需求如何确定?这三个是于应用导向的框架梳理出来的比较关键的问题


第一,我们要明确「谁提出要做监测评估」,这个「谁」可以很具体,如出资方、理事会、项目团队或合作方;第二,在做监测评估过程中,TA希望回答的问题是什么?如判断项目资金用得好不好,有没有优化迭代的空间;第三,TA要将监测评估的结果用在哪里?这是非常重要的问题,我们要以终为始,知道最终用到哪里,才能明确我们的需求是什么。

 

在写需求时,我们往往充满了期待,什么都想验证。但我们要先看看团队配置、能力和资源,有多少人力和时间做这件事情,基于需求和团队配置、能力和资源,我们就能大概做出监测评估的规划明确想要监测评估来做什么。问题和需求明确后,还有一个非常重要的点,我们要与相关方沟通,让他们明白做监测评估的价值作用是什么。

 

 

图片

 评估要发挥价值:以终为始 



监测评估具体有哪些应用场景?


图片


我们主要归纳出四种。第一,成效验证,价值确认,这是我们内部团队很多时候都会特别关注的,要知道项目做得好不好,有没有价值,为此作出的努力有没有白费,这是内部需要确认验证的事情。

 

第二,问责,这通常由出资方或理事会提出,但问责不是挑刺,更多是花了钱想知道事情做得怎么样,都做到了吗?价值成果分别是什么?大家设身处地想想,参与月捐或捐款之后,大家就会好奇,想了解项目做得怎样?这时得到项目方反馈,你就会觉得蛮好的,所以问责是大家普遍都会有的心理和状态。在成效验证和问责之间,我们要知道项目有什么成效,这能支持我们将其运用到「问责」场景中。

 

第三,明确了项目成效之后,更为重要的是知道项目有哪些可以优化改进的地方。我们最近收到一个能力建设项目的监测评估委托,出资方和秘书长跟我们说,知道项目过往做得如何固然重要,但更重要的是,希望了解我们下一步可以怎么做,应该怎样更好地迭代优化项目,更好地服务到服务对象。相信这也是很多伙伴的期待,所以监测评估很重要的一个价值是,协助我们发现迭代优化的机会,如何更有效、更好地将项目做得更有价值。

 

第四,是利益相关方的沟通场景,每个机构负责品牌传播、市场筹款的同事,需要对外说明项目做了什么、有什么样的效果,要用效果成效去打动人、说服人,为了让更多公众了解、认识甚至支持我们,就需要提供素材,让他们能够用更好的素材与利益相关方沟通。

 

这四个是监测评估能够真实运用到的场景,而且能够很重要地发挥其价值。从结果上来说,评估似乎没那么难,监测评估就是一个重要的工具手段,它是根据我们的需求、规划和期待去做的事情。

 

图片


回到最开始提出的问题:没有专门的评估预算和专家,还能做监测评估吗?

 

肯定可以,我们要先明确项目的需求,明确项目的阶段,明确监测评估结果要用在哪里,以终为始去判断自己要做的事情。

 

最后,希望呼吁大家一起来做监测评估这件事情,一起共同努力:

 

第一、明确要做监测评估后,要知道应该怎么做,如何支持更多伙伴将监测评估做好,是接下来我们希望能推动的事情;第二、除了专家型和学术型的评估之外,如何从实践者的角度探索一套「契合需求且可执行」的思路、评估方法和理论工具;第三,很多时候公益机构理不清楚自己的需求,资源盘就这么多,如果有机会和外部老师合作,肯定希望能抓住一切机会表达诉求,希望专家学者能给我们一些参考指引,当我们什么都想要的时候,可以基于我们的项目现状、资源和能力协助我们作出判断,让监测评估的结果能够被最大化地使用,是我们每一个人共同的期待。