11月22日至23日,以「韧性发展 勇毅前行」为主题的中国基金会发展论坛2022年会顺利举办。11月23日上午,广东省日慈公益基金会在2022年会中承办的平行论坛「多维评估指导下的项目迭代与创新」在上海举行,并在网络平台同步直播。
项目评估是助力项目质量提升的重要工具,也是对外呈现项目实施成效和透明度的主要方法之一,有效助力项目和机构的可持续发展。但是,其复杂、成本高和模式多等特点,使得公益伙伴在选择评估方法和应用评估结果上存在相当的挑战,阻碍了公益项目的高质量提升。
日慈公益基金会秘书长张真致辞
日慈公益基金会秘书长张真在致辞中表示:「本场论坛主要回归到评估的价值,也就是评估对项目迭代创新的指导作用,通过高校学者、执行机构、能力建设机构和资助方等不同视角,谈谈大家对评估的共性困惑,如没有资源能否做评估,项目人员是否需要评估思维,怎样整合评估资源服务更多组织,资方如何看待评估等,希望能够破除公益机构对项目评估的刻板印象,为伙伴们带来新的启发和思考。」
评估的价值
日慈公益基金会是一家聚焦青少年儿童心理发展的慈善组织,在过去的7年里自主研发了1-9年级心理健康课程,服务超过50万乡村儿童,持续赋能乡村心理健康教育发展。其中,心灵魔法学院项目主要通过提供课程和培训,支持乡村教师在学期内为孩子们开展心理课。
对项目的评估,日慈主要采取「准实验研究」定量评估和「质性访谈」定性评估相结合的方式,并在项目实施过程中进行「过程监测」评估,进而及时调整迭代。
会上,芝加哥大学社会工作与社会福利在读博士付琳赟和日慈公益基金会心智素养研究院主管邵立煌从日慈心灵魔法学院项目评估案例入手,讲述循证理念指导下的项目实施与成效评估。
芝加哥大学社会工作与社会福利在读博士
付琳赟在线上分享
2022年3月-7月,日慈公益基金会在澳门同济慈善会北京办事处支持下,开展了一项针对乡村地区五年级学生社会情感学习项目的准实验评估,探究日慈自主设计的《积极成长》课程包的实施和干预效果。
日慈分别在重庆云阳县和忠县各选取2所乡村学校分别作为实验组和对照组,让学校所有五年级学生参与到项目中,实验组学生学习了一学期心理课,而对照组学生不开展任何活动,并对学生实施前测和后测,通过平衡性检测和多层次混合效应线性回归模型两种数据分析方法进行分析研究。
付琳赟指出,学习了《积极成长》课程包的学生比没有上课的学生,在社会情感能力的得分上提高了3.38分,我们可以认为,《积极成长》课程的学习显著增强了儿童整体的社会情感能力,且在自我意识、社会意识和人际关系等方面得分均有不同程度的提升。
芝加哥大学社会工作与社会福利在读博士
付琳赟在线上分享
同时,评估还考察了不同学校、性别、留守状况和家庭结构在儿童干预效果上的差异。「在准实验之前,忠县已开展过一学期日慈心理课,我们发现,忠县的学生在总体干预效果上要好于云阳县干预组的学生,而在自我管理维度上,忠县实验组的学生比对照组学生有显著提升,能够更好地控制和管理情绪。」
根据评估结果,日慈从三方面提出了项目实施和迭代的建议:完善现有课程包,使其覆盖社会情感能力五大核心领域;持久的项目实施可以实现更好的效果;以及开发针对授课教师的赋能培训,帮助课程更好地在地实施,进而提升课程干预效果。
在质性研究方面,日慈在学期中后期对教师和学生进行访谈,跟踪授课情况和课程对学生的影响,还发现了一些量性评估中所没有显现的改变。
日慈公益基金会心智素养研究院主管邵立煌分享道:「我们发现除了自我认知、人际交往和情绪管理上的提升,课程对乡村儿童的学习成绩也有所帮助,班级排名整体靠前了,学习专注力和兴趣也有所提升。对老师来说,授课起到了一种教学相长的作用,情绪管理能力增强、师生关系有所改善,教育理念有所转变,有些老师还找到了职业发展的新方向。」
日慈公益基金会心智素养研究院主管
邵立煌分享
如何看待评估对项目和机构的价值?日慈公益基金会秘书长张真从执行机构的视角进行阐述:「我们做评估的首要目标,是确保对儿童不造成伤害,这也是我们一直把项目做下去的底气,让团队更有信念感,相信自己做的事情是有价值的。另外,项目是有生命力的,评估是项目自我认知、自我探索的重要工具,帮助我们在项目的生长过程中,建立对需求的精准把握,多维评估让我们对自己的认知更立体和全面,对日慈来讲,这是评估最重要最核心的两个价值。」
上海联劝公益基金会资深专家毛帅
上海联劝公益基金会作为资助型平台基金会,通过电话尽调、小组访谈和实地走访等方式对项目进行评估,联劝资深专家毛帅表示:「我们强调有效公益,对每一份善意负责,从发展的视角看评估,我们和执行机构是共同体,目标是一致的,会一起通过评估推进所资助项目的成效,希望在评估复盘中,和被资助方一起找到更多可能性与空间。」
对评估的价值,执行机构、资助方和专家学者的共同关注点是项目的成效,上海纽约大学副教授金敏超认为:「从学者角度来看,关注成效背后的使命,在于怎样有一个更好的项目模式解决社会问题,而背后支持的是证据等级比较高的评估,从社会问题到社会结构层面,多维评估的背后是多维的价值与创新。」
如何找到合适的
评估方式和资源?
在真实世界中,听不懂各种专业词汇、指标难设计、数据收不上、结果用不上,无增量信息等,都是公益机构做评估时会遇到的挑战。
没有专门的评估预算和专家,如何做监测评估?悦享新知课程制作总监李祎礽在主旨发言中指出:「关键在于我们要判断项目所处的阶段。在不同阶段,开展评估的方式都会有差异,对评估也会产生不同的期待。怎么做评估没有统一的答案,而是要思考做监测评估的目的,以及评估的发现和结果如何应用。」
「对待评估,我们要往三个方向努力,」李祎礽同时强调:「除了『应该要做之外』,更要关注『如何更好地做到』,共同探索『契合需求X可执行』的思路和方法,让监测评估的结果真正被使用,发挥最大价值,是我们彼此共同的期待。」
悦享新知课程制作总监李祎礽演讲
上海纽约大学副教授金敏超根据曾做过的三个项目评估案例出发,阐述评估在项目设计和执行层面的应用。
金教授分享道:「真实世界中的评估,往往从成效开始,了解项目成效后,如何对项目设计和执行做出改进,就是项目优化的过程。在设计和执行中,了解评估资源、制定评估方法、关注项目执行,监测执行中最关键的点,保持和项目方的良好沟通以及评估方案的灵活性,很多时候你开始做评估了,就会有收获。」
上海纽约大学副教授金敏超
北京三一公益基金会能力支持总监王龙玺在机构和能力建设方面探讨了评估资源的优化与分配,三一基金会搭建的3E公益研究与评估网络,通过对接项目评估需求和研究需求,探索网络运作模式,希望能在非常低成本情况下对接专业资源,帮助公益组织更好地认识项目,年轻的学者也能更好地了解公益领域。
王龙玺强调:「在机构战略性的事情上,做评估是非常必要的。没有组织能一开始就做最高级的评估,也没有一个组织能不做评估一直发展下去,这是一个规律吧。我们在实际工作中发现,做评估过程中,资源匹配到位是最难的。评估网络要运营得好,不仅取决于人的努力和投入的钱,还跟这个行业的发展程度有一定关系。」
北京三一公益基金会能力支持总监王龙玺
谈到在评估实践过程中遇到的挑战,澳门同济慈善会北京办事处项目经理翟希婷说:「有创新点的项目往往处于试点阶段,评估方面的资源不多,团队中没有做专业评估的人,在自评估中如何收集到对项目改变有效的信息是他们的一个挑战,还有些伙伴第一次做评估心里犯怵,我们身为资方,会为他们对接有评估经验的伙伴,帮助他们做过程性监督。」
资助方所看重的评估
资方如何看待一个公益项目的价值?资方决定是否投资一个项目,往往有自己的影响力思考维度与评估框架,如果不与资方的评估框架匹配,很容易陷入「自说自话」的怪圈。
ABC美好社会咨询社业务拓展与筹款高级经理蔡癸运以为资方公司评估某机构「为流动儿童提供安全成长空间」的品牌项目为案例,分享了从对项目评估的期待,评估指标框架的搭建过程,社会效益的衡量,到通过实地走访、调研、案头研究等工作,最终产出评估报告的过程,并发现该评估项目完全满足了项目设计初期的目标。
蔡癸运强调:「公益项目评估既可以由专业人士来完成,但更多时候还是取决于我们对评估项目的态度,是否愿意学习评估的相关方法框架等,评估项目没有想象中那么难,只要做了评估,对项目发展还是特别有意义的。」
ABC美好社会咨询社业务拓展与筹款
高级经理蔡癸运
在评估中,资助方的主要关注点是什么?联劝资深专家毛帅分享说:「我们尽量拉近资助者和服务对象的距离,让他们可以非常好地参与到项目评估过程中。再者,我们关注执行机构在资助过程中的成长和项目的成效。作为资方,我们要推动执行机构做项目评估,让大家觉得这是促进项目发展、能力提升的工具,是执行机构和资方共同寻找可能性的机会。」
在项目经理翟希婷看来,刚合作时,评估是为了和公益伙伴达成共识,因而比较注重社会问题的解决、受益人发生的变化,希望通过讨论具体的项目指标,在前期达成共识,对伙伴的长期合作关系和未来项目开展都比较有帮助。「在项目后期,我们会关注项目成效,也就是预期的改变有没有发生,伙伴如何得出这个结论,基于这个评估结果,下一步如何做调整和迭代,我们怎样才能更好地支持伙伴,带着成长视角与伙伴建立长久的合作关系。」
澳门同济慈善会北京办事处在内地主要开展教育类资助工作,并且会专门支持公益项目做评估,翟希婷说:「我们很关注做项目评估,终极目标是为了能够真正地回应或解决教育问题。」
澳门同济慈善会北京办事处
项目经理翟希婷
关注评估对项目的成长,能够给予机构更多机会,带来多元的价值,金教授强调:「评估不只是一个工具,其实也是一种思维,让我们思考,这个项目到底要解决什么问题,有什么方法能做得更好,更重要的是,这种思维能够更好地帮助到各利益相关方。」
把评估作为一种价值观,多位分享嘉宾不约而同地提出了这个观点,同时又与日慈举办论坛的初心非常契合。
活动最后,日慈公益基金会秘书长张真发出呼吁:「我们要有意识做评估,不断提升评估的思维和学习工具方法,评估让我们时刻保持警醒,思考在有限的资源中如何发挥更大效益。把评估作为机构重要的事情,能够支持机构健康稳步发展,更好地回应社会议题,做更多影响力更宏大的事情解决社会问题。」
更多精彩分享
欢迎扫描下方海报二维码
回看平行论坛
▼