标准化的行业规范是教育评估专业化的要求,也是教育评估科学性的重要保障。以方法规范化、过程程序化的规程作为指导工作人员的行动指南,是有效实现既定目标、引领和促进提高工作质量与效率的重要保障,尤其对于专业性较强的教育评估来说更是如此。顾名思义,规程是指“规则、规范”和“程序、流程”,后者是为实现特定目标而采取的一系列前后相继的行动组合,而前者是每一个行动环节的要求、制度和标准。在大量教育评估实践经验积累的基础上,结合教育评估的专业理论知识,梳理提炼和探索制订需要严格遵循的普适性教育评估规程,并继而修订为行业标准,再反过来指导评估实践开展,这是提高教育评估的规范化和科学性的客观要求,也是推进教育评估专业化和现代化的发展动力。[1,2]
随着教育评估成为教育质量保障体系和教育治理体系的重要内容,以及作为政府监督教育的有效手段和管理决策的重要依据,教育评估的地位和作用日益提升,评估项目也随之呈现大型化、复杂化的趋势。将教育评估当作一项工程,借鉴工程化的思想和方法来指导、规范和管理教育评估实践的开展,使评估活动中各个步骤及环节、各位人员之间的衔接和协调建立最佳秩序,保证评估活动程序严密、组织实施合理高效和评估人员职责清晰明了,有助于保障和提高教育评估的质量和效益。按照工程项目管理中“生命期”的概念,教育评估项目从开始到结束的全过程可依次划分为项目立项、项目设计、项目实施和项目总结等依次推进的四个阶段,以及贯穿整个生命期的元评估。[3]
一、项目立项:
确定要做
评估项目立项是指项目委托方(如政府职能部门)根据工作需要确定评估项目及其政策要求,并按照管办评分离的多元化教育治理的宗旨,委托第三方机构(如教育评估专业机构)组织实施教育评估工作。项目立项是教育评估项目的“命题出卷”阶段,着重解决“为什么评”“评什么”“谁来评”等核心问题,是评估项目的开篇布局与顶层设计。按照管理学“6w3h”的思想,项目立项主要包括以下内容。
1
评估目的(why)与类型(what)
教育评估的根本目的是促进评估对象更好地发展与提高,促使教育价值增值。就具体某个评估项目而言,教育评估也是有目的的管理活动,而且评估目的也决定了评估类型和性质。例如对高校学科进行评估,如果评估目的是遴选部分综合实力较强、国家和区域经济社会发展需要的学科,则评估类型为选优评估,如筛选“双一流”建设学科、增列博士硕士学位授权学科等;如果评估目的是检查验收某些学科是否达到相应的水平和条件,则评估类型为合格评估,如“双一流”建设学科验收、博士硕士学位授权学科定期合格评估等;如果评估目的是对比评判学科建设的质量成效以及分析学科实力的强弱程度,则评估类型为水平评估,如一级学科整体水平排名评估;如果评估目的是对标学术前沿和国家需求,诊断学科建设的问题与瓶颈,以更好地促进学科内涵建设,提高学科水平和服务经济社会发展的能力,则评估类型为发展性评估,如学科建设方案论证评估,等等。
2
评估对象(whom)与额度(how many)
评估项目委托方需要根据政策设计明确评估对象,明晰本次评估范围的边界。例如教育部学位中心组织开展的一级学科整体水平评估工作中,各单位具有博士或硕士学位授予权的一级学科,均可申请参评。同时,为了真实反映各单位学科发展水平,同一学科门类满足参评条件的学科须同时申请参评或均不参评。在选优评估或合格评估中,评估项目委托方通常还需要确定相关限额。例如在博士硕士学位授权学科增列工作中,需要明确各区域(如省份)的增列限额;在博士硕士学位授权学科合格评估工作中,需要事先明确是按照基本条件对每一个学位授权学科开展绝对评估(不设“不合格”名额),还是对所有的学位授权学科开展相对评估(按一定比例进行“末位淘汰”)。在中小学教师高级职称评定工作中,地方政府是否对各区域、各学段、各学科提出结构分布要求。
3
评估时间(when)与地点(where)
评估项目委托方需要根据工作安排明确开展评估的起止时间以及地点,评估地点安排包括是否分区域、分类别组织实施评估工作。例如在博士硕士学位授权学科增列工作或者定期合格评估工作中,教育行政部门要明确项目启动时间和项目完成时间,国家是否授权省级教育行政部门独立开展、是否授权部分高校自主开展等。
4
评估经费(how much)、落实第三方机构(who)和如何落实(how)
根据公共治理理论中“委托-代理”的契约性要求,在推进“放管服”改革的形势下,按照管办评分离、三者既相互协调又相互支持的现代教育治理体系的要求,项目委托方需要落实评估经费,并明确组织实施教育评估的第三方机构的资质条件和购买服务的方式等问题。项目委托方向专业机构购买服务的方式主要有公开招标、邀请投标、竞争性谈判、单一来源采购等,最终委托方与受托方签订委托协议,明确各方的权利义务、职能边界与法律责任等。
二、项目设计:
如何做?
评估项目设计是指第三方机构组建项目团队,在与项目委托方充分沟通、深刻理解项目的基础上,发挥其专业优势,设计详实的评估方案,并根据评估方案制定专家手册。项目设计是教育评估项目的“答卷构思”阶段,着力解决“如何评”的问题,是教育评估的关键环节,直接影响评估质量和效益。
(一)评估方案
评估方案是评估项目实施的蓝图,要明晰评估实施过程中每一个环节具体“如何做”,使评估活动的各个步骤、每位人员有序衔接和协调,保证评估程序规范严密、组织合理高效和评估人员职责清晰。制定评估方案需要认真对接委托方的评估意图,也应广泛听取评估对象的意见建议。评估方案中除了明确评估依据、评估目的、评估对象等以外,还应包括以下内容。
1
评估原则
评估原则需要遵循教育方针,服务“扎根中国大地办教育”。评估原则的核心是价值取向,体现了评估工作的顶层设计与政策导向,也会直接影响评估结果的科学性和公信力。立德树人是教育的根本任务,提高教育质量是教育改革发展的核心任务,因此教育评估要回归教育的本心,树立育人为本的价值观,着眼于提高人的综合素质、激发其发展动力、促进其持续改进和不断提高,正确发挥教育评估的指挥棒作用。例如在具体制定评估标准方面,对于国家统一开展的评估项目,是直接采用国家标准,还是结合地方特色与需求修订调整部分评估标准?在评估结果取向方面,是完全强调评估对象的质量与水平,还是实施分类评估、兼顾评估结果的结构分布?
2
评估指标体系
评估指标体系是评估工作的核心,既描述了评估对象的主要特征属性,又体现了评估的目的与价值取向,而且也关系到评估信息的采集方式和内容。构建科学合理的评估指标体系是教育评估实践的基础,也是保证评估结果科学性的关键。教育评估要建立科学多元的指标体系,提高指标体系与评估对象的适切性与针对性,坚决克服“五唯”的顽瘴痼疾,切忌评估标准简单化、片面化、绝对化。
3
评估方法技术
首先要根据评估目的与政策确定本项目的评估类型。例如对某一批评估对象进行合格评估,如果是按照事先设定的评估标准进行的则是绝对评估;如果是按照一定比例或额度进行末位淘汰的则是相对评估。评估方法有多种,但每种方法都有其优势与不足,需要根据评估项目的实际情况采用合适的评估方法与技术,如开展材料评审(通讯评议或会议集中评议)还是实地考察?实施同行评议还是客观数据分析?进行定性评估还是定量评估?定性评估中采用评语写实法还是等第法、票选法?等等。有时也可能是多种评估方法的组合,例如对评估对象既给出等第结论,也提出整改提高的意见建议,以体现发展性评估的思想。
4
评估工具研制
现代信息技术有力支撑并助推、引领教育评估的技术革新与思维变革。研发教育评估信息平台,既可便捷评估对象进行信息填报,又能高效地进行数据核验;既可快捷实施网上同行评议,又能高效准确地进行统计汇总,有效提高工作效率、保证工作质量。研制专用app,能够高效、广泛地开展相关人员的问卷调查。在云计算、大数据、物联网、移动通讯、人工智能等技术支撑下,研发智能化评估系统,则可完成全时空、多模态数据的集成计算、准确诊断和持续跟踪,实现精确化、个性化的实时监测和个性指导。[2]
5
评估计划安排
评估实施过程包含诸多步骤,每一个步骤又可以继续细分为若干环节,而且事先还需要做些准备工作,如研制必需的评估工具等。这些环节总体上是前后相继、依序“串行”递进的,但其中有的环节,如工具研制、专家遴选、制定专家手册等是可以“并行”同步开展的。因此需要有效合理地安排评估实施的计划,并结合法定节假日等客观因素,保证在限定的评估起止时间内完成评估工作。
(二)专家手册
同行评议是教育评估的主要方式,专家手册是同行专家参加教育评估的培训教材与操作说明书,需要清晰地告诉专家具体“做什么”和“怎么做”,保证专家评议过程的规范性和评议结果的客观公正性。专家手册中除了专家的道德准则及承诺书、材料清单、生活贴士等以外,还应包括以下内容。
1
项目背景
简要地描述评估项目的来源、目的宗旨、评估原则、评估对象、评估时间及额度等内容,使专家了解评估项目的概况及相关的评估政策要求,有助于专家更好地结合自身的知识和经验对评估对象给出价值判断。
2
专家职责
清晰明确地描述专家组的组成原则和专家的工作内容。对于会议集中评议或实地考察形式的教育评估,还需要界定专家组组长、副组长和专家组成员的各方职责,以及专家组成员意见不尽一致时的争议处理预案。
3
评估标准
提供评估指标体系,并对每一项指标给出评判依据与评判尺度。评判依据是指各项指标与评估对象的哪些具体信息的对应关系,评判尺度是指各项指标评判结果的区间范围与评估对象特征属性的对应关系。评判依据与评判尺度既便于专家开展工作,也可以相对统一不同专家的心理尺度,提高评估结果的客观性。
4
日程安排
对于通讯评议而言,需要明确专家意见反馈的截止时间。对于会议集中评议或实地考察而言,需要详尽说明具体事项(如会议集中评议中各个评估对象逐一交流互动的排片表,实地考察中资料查询、座谈访谈、实地察看、口头反馈等环节)的进度计划、工作地点、评估秘书及其亚博电竞网站的联系方式等,以保证专家评议的工作有效性。
5
评议表(样张)
评议表是专家工作结果的载体,专家按照既定的要求和格式在评议表上给出每个评估对象的评判意见。专家手册中的评议表(样张)能有效地帮助专家理解具体“怎么做”,根据评估方案中的评估方法技术,进行定性评判或定量评判等。对于网上评议工作,则需要在专家手册中详尽说明评估信息平台的操作指南。
三、项目实施:
具体怎么做?
项目实施是根据评估方案开展评估活动的具体施工阶段,主要内容是采集并整理评估对象的相关信息,运用既定的教育评估方法技术进行价值判断,得出评估结果。项目实施是教育评估项目的“提笔答卷”阶段,实施完成“具体怎么评”的问题,是教育评估的中心环节,也是评估组织管理的重点。
1
试评估
对于一些重大的涉及面广的评估项目,在评估项目正式实施之前,评估机构通常选择部分评估对象或者同类对象开展试点评估,以检验评估方案的有效性,检查发现评估方案中可能潜在的错误和偏差并进行修正完善,然后正式全面实施评估项目,以保证评估质量。另一方面,对评估对象而言,在接受正式评估之前,严格对照评估方案开展自我评估,或者邀请专业机构进行评估演练,以主动寻找自身存在的问题并及时整改,为正式评估打下扎实基础。
2
信息采集
采集评估对象的相关信息是教育评估的基础性工作,评估对象的相关信息是价值判断的客观依据,因此信息采集必须全面、客观、准确。评估对象的相关信息主要包括数据信息(如办学规模、校园面积等)、文字信息(如办学定位与特色、立德树人成效等)、形态信息(如学术氛围、精神面貌等)和多媒体信息(如音像作品等),信息采集方式主要有报表法、查阅资料法、调查问卷法、实地考察法等。有时候评估机构在一定范围内公布评估对象的相关信息,加强社会监督,以保证信息的准确性和可靠性。
3
信息整理
信息整理是指对采集到的评估对象的相关信息进行核实、分类、处理和保存,以提高信息的可靠性和适用性。信息整理工作包括通过政府相关部门的统计数据进行信息比对校验、对异常数据进行核实、对数据量纲进行转换,按照评估指标进行数据归口处理等,便于专家能够对应评估指标体系,根据整理后的信息直接给出价值判断。如果采用客观数据分析法,信息整理的重点是要确保同一项指标的各评估对象的属性数据的质性完全一致(如统计时限、量纲、奖项等级等),保证相互可比。
4
专家遴选
教育评估多是涉及学校办学水平与教育教学质量等主观因素,通常难以直接测量,需要借助业内同行专家的丰富经验和渊博专业知识进行价值判断,尤其对于发展性评估、协商式评估等更是如此。开展教育评估,需要针对评估项目的具体特点和要求,拟定专家规模人数、资质条件(如管理经历、职称、学科专业等)、结构要求(地域分布、工作单位分布、管理专家与学科专家的比例等)和回避要求(如利益相关者),然后从专家库中遴选满足要求的同行专家人员名单,并逐一确认他们能够在既定时间内参加评估工作。
5
价值判断
根据专家手册对参加评估的专家进行培训,使每一位专家准确掌握评估政策和原则、清晰理解具体工作内容,并签署包括公正、廉洁、保密等内容的承诺书。有时候专家组组长负责统筹安排专家分工,然后专家根据评估标准完成对评估对象的价值判断,将立德树人成效作为教育评价导向,并从教育规律和人才成长规律出发,在横向上处理好评价标准的多样性,在纵向上把握好不同类型成果之间的相当性。如果采用数据分析法,则根据信息整理后的同质数据,按照事先设定的数据处理模型,将每项指标的各评估对象的属性数据转换为无量纲的归一化数值。
6
汇总合成
汇总合成主要包括两个方面,一是将多位专家对每一个评估对象给出的同一项指标的评判结果进行统计,二是将每一个评估对象的各项指标的评判结果合成为评估对象的总价值。前者在统计之前还需要分析群体评判结果的一致程度,如果过于离散则需分析原因并请专家确认评判结果;后者主要根据评估指标体系中各项指标的权重进行价值合成。将多位专家的写实性意见汇总成总体意见时,需要专家组进行审核和最终确认。
四、项目总结:
做得怎么样?
项目总结是对评估活动本身的验收、审视与总结,对于促进教育评估规范性、提高教育评估的质量和水平,并为今后的教育评估积累经验等具有重要意义。项目总结是教育评估项目的“阅卷分析”阶段,重在检验“评得怎么样”和确定评估对象“价值如何”的问题。项目总结的主要内容有检验评估结果的信度和效度是否符合委托方的要求、第三方机构撰写评估报告并反馈评估结果、最后建立完整的评估工作档案等。
1
元评估
评估科学性是教育评估的价值宗旨,元评估的根本目的就是保障评估的科学性。评估过程中,评估目的和政策的理解、评估方案的设计、评估信息的采集、价值判断、汇总合成模型等每个环节都隐藏着影响评估科学性的因素,甚至一些敏感性问题可能导致“表面上的合理性掩盖实际上的不合理性”。[4]因此,需要对评估的全过程,包括评估的价值取向、方法、过程、结果、效应等进行全面系统的审视,实行边设计边复审、边实施边复审和事后的全面复审,相当于工程项目中的图纸审核、施工监理和竣工验收。对评估过程的每个步骤、每个环节、每个细节都进行详尽细致的复审,就是为了能够及时发现并修正错误和偏差,改进和优化评估过程,提高评估的信度和效度。在评估工作结束之后,还需要分析评估对象和社会对评估结果的认可程度,跟踪评估结果促进评估对象整改提高的效果,征求评估对象对改进评估工作的意见建议,以及分析各位专家参与评估的评判准确性等。
2
撰写报告
评估报告应当真实客观、逻辑清晰,其内容和格式根据委托方要求和评估项目的具体内容确定,通常包括封面、正文和附件三部分。[5]封面包括评估项目名称、委托方名称、评估机构名称、评估方案实施和完成日期、递交报告的日期等。正文内容主要有:①项目概要。简要综述评估项目的目的、依据、评估对象、额度等背景。②评估方案。介绍评估方案的编制过程,重点叙述评估标准的编制过程及其理论依据。③实施过程。介绍信息采集、信息整理、专家遴选、评估方法等组织实施的过程。④结果分析。表述取得的评估结果,并对评估结果进行分析推断,表述评估对象的优势与不足、改进建议等。⑤意见建议。根据评估结果向委托方提出政策建议。附件主要补充说明评估过程与结果的相关材料,如专家名单、座谈访谈人员名单、评估过程中发生有关事件的记录等。
3
结果反馈
评估结果反馈及运用形成了评估流程的闭环,也是有效发挥教育评估功效、促进管办评良性互动的要求。评估结果反馈通常包括三个方面:①评估机构向委托方递交评估报告,为政府监管教育、资源配置、管理决策提供依据和政策建议。②在一定范围内公布评估结果,加强社会监督,促进评估对象及同行之间的相互交流,发挥教育评估的激励与导向作用。③向评估对象反馈,遵循实事求是的原则,充分肯定成绩,也指出差距不足,提出改进建议,以促进评估对象不断完善提高。
4
建立档案
文档是项目立项、设计、实施和总结等阶段以及元评估的过程记录,也是评估的流程环节、团队人员进行工作交接、交流和优化调整的资料依据,评估人员必须将每一步工作的过程及结果以一定的格式做好工作记录。评估完成之后,评估机构应将评估过程中的所有资料立卷建档,包括各项文件、委托协议、评估方案、专家手册、评估报告等,以及评估过程的相关原始资料和记录资料,如采集信息、评估对象自评报告、会议记录、签到单、承诺书、评议表等,以备查阅和研究使用。同时,评估机构对所有文档资料承担保密义务,不得随意披露相关信息。
参考文献
[1] 冯晖,王奇 . 试析教育评估专业化[j]. 教育发展研究,2015(11): 5-9.
feng hui, wang qi. on the professionalization ofeducation evaluation [j]. research in educational development,2015(11): 5-9.
[2] 冯晖.教育评估现代化的内涵特征与推进策略[j].上海教育评估研究,2019(3): 1-4.
feng hui. connotation characteristics and promotingstrategy of modernization of education evaluation[j].shanghai journal of educational evaluation,2019(3): 1-4.
[3] 冯晖 . 评估组织工程初探[j]. 复旦教育论坛,2010(4):31-33.
feng hui. a probe into evaluation project engineering[j].fudan education forum,2010(4): 31-33.
[4] 冯晖.教育评价中的敏感性问题研究[j].华东师范大学学报(教育科学版),2007(6): 37-41.
feng hui. sensibility analysis of education evaluation[j].journal of east china normal university (educationalsciences),2007(6): 37-41.
[5] 金娣,王刚 . 教育评价与测量[m]. 北京:教育科学出版社,2002: 83.
jin di, wang gang. educational evaluation andmeasurement[m]. beijing: educational science publishinghouse,2002: 83.
主办单位:四川省教育评估院 运营单位:四川省教育评估院 亚博电竞网站的版权所有:四川省教育评估院 网站标识码: 公安部备案号:
网站声明
使用帮助