评价赋能高质量发展:应用型本科专业全周期监测与评价的进路研究
2020年中共中央、国务院印发《深化新时代教育评价改革总体方案》,指出要利用数字技术“提高教育评价的科学性、专业性、客观性”,在“改进高等学校评价”部分明确提出要“探索建立应用型本科评价标准,突出培养相应专业能力和实践应用能力”。在深化新时代教育评价改革的进程中,对众多应用型本科院校来说,探索建立应用型本科评价标准、利用有效的教育评价工具引导与促进本科专业围绕地方性、应用型进行专业内涵建设,极具现实意义和应用价值。
一、本科专业评估的内涵与困境
本科专业评估作为对教育评价的一种主要形式,已成为政府和高校在规范专业管理、提高专业教学质量、调整优化本科专业结构、引导专业内涵建设过程中的一种有效手段。
(一)本科专业评估的发展现状
为推进高等教育质量保障体系建设,2011年我国建立以高校自我评估为基础的“五位一体”本科教学评估制度,明确了高等学校应建立包括专业评估、课程评估等在内的自我评估制度,专业评估是“五位一体”高等教育质量保障体系之一。本科教学工作合格评估核心内涵的“一个引导”也强调了学校“构建并逐步完善内部质量保障体系,形成不断提高教学质量的长效机制”的重要性。2016年国务院教育督导委员会办公室组织开展普通高等学校本科专业评估试点工作,北京、天津、辽宁、河南、江苏等18个省(区、市)教育行政部门在本科专业综合评估的试点工作中取得了扎实的成效。河南省教育厅制定了相应专业评估指标体系,在2016—2018年通过首轮三批次的本科专业评估,对全省布点在5个以上、毕业生在3届以上的全部本科(专业布点共1918个)完成了全覆盖的评估。经过试点运行后,各省教育主管部门创新评价模式和手段,对专业评估指标体系和数据填报、评估方式等进行了修订与完善,更加适应教育现代化和促进专业高质量发展的整体要求。
各高校在迎接省本科专业综合评估工作的过程中,也主动完善校内自我评估制度,及早发现专业建设中的不足,补短板,强弱项,以中国矿业大学、北京联合大学、广东海洋大学等为代表的高校,开展了基于省级评估标准或自定评价指标的校内本科专业评估的探索,取得了一定的成果和经验,促进了学校教育教学质量的保障体系的逐步完善。其中,部分高校利用质量监测数据对完善教学质量监控体系、常态监测、辅助本科专业评价(评估)、建设校内数据平台等方面进行了实践研究和有益的探索。
(二)本科专业校内评估的意义
2013年我国加入《华盛顿协议》,学校在教学评估中的主体地位越来越凸显。新一轮教育教学审核评估也主张受评高校“用自己的尺子量自己”,强调形成“自觉、自省、自律、自查、自纠”的质量文化。2023年2月,教育部等五部门印发《普通高等教育学科专业设置调整优化改革方案》,要求定期开展学科专业自评工作,建立健全学科专业建设质量年度报告制度。高校对专业的自我评估成为提高本校教学质量的重要保证和关键抓手。
专业校内评估是学校自我评估的一种,学校作为评估主体,为及时发现专业建设中的问题、自觉推动专业发展而对校内各专业组织的主动型质量评估,是高校内部教学质量保障体系的重要一环。开展专业校内评估可以发挥专业建设积极性与能动性,“评估—建设—再评估—再建设”的循环提升与改进的过程,有利于形成各专业自我完善的机制,促进专业的改革与发展。专业校内评估具有其他外部各种评估形式不可替代的基础性和导向性作用。
(三)本科专业评估面临的现实困境
在数字化转型赋能教育高质量发展的背景下,以数据驱动变革教育评价方式已成为趋势,教育质量监测数据在教育质量评价、高等学校本科质量常态监测机制中愈加重要。本科专业评估在体系构建、评估导向、数据应用等方面还存在一些亟待改进和完善的地方。主要表现为:
一是各省之间高校本科专业评估方式具有省域特色,但未对不同类型的专业设置相对独立的标准与体系,如对应用型和研究型的高校专业评价标准相同,专家评价标准不一致,对应用型本科的监测与评价重视不够。
二是专业评价(评估)的理论基础薄弱,参评专业通过本轮评估后需要四到五年才能再次被评估,其间的常态监测机制不够完善,对专业人才培养全过程各要素监测评价覆盖面不够。
三是教育质量监测数据应用于应用型本科专业的专业评估、促进地方院校本科专业建设的研究实践目前还较零散,没有形成聚集效应。基于本科教学基本状态数据库在专业层面的核心数据指标还不够丰富和完善,专业评价数据库建设滞后,数据采集任务量大、周期长。
四是内部质量监测评价机制不够健全,评价结果信息反馈不及时,结果运用与改进提升环节缺失或效果不佳等。
这些方面影响了专业评估指标体系的科学性、评价目的的导向性、评价工作的有效性。加之各高校质量文化建设进程不一致,目前有效的专业校内评估成果还没大批量显现,评价模式推广效果受限。
二、应用型本科专业全周期监测与评价的研究思路
(一)聚焦应用型专业建设要素,以应用型人才培养为导向设置专业校内评估指标体系
地方院校本科专业建设面临着人才培养目标、课程设置、实践教学、师资队伍、教学管理、质量监控、学生成长、社会评价等方面的诸多问题,最突出的问题就是“地方性”“应用型本科”特色不明显。评估指标需以专业特性为导向,以应用型人才培养为导向设置适用于自身发展的专业评估指标体系,发挥评估导向作用,引导专业紧扣应用型进行内涵建设,兼顾“学生”与“专业”的共同发展。
(二)数据赋能,建设校内专业建设常态监测数据库,实现专业建设常态数据动态监测与可视化预警
大数据与人工智能、云计算等新技术不断融合,数据赋能本科教学质量评价是高校实现内涵式发展的迫切需求。在评价中发挥数据作用,以学校教育质量监测数据为抓手,建立校内专业建设常态监测数据库,从不同维度设置可量化的“数据监测项”,用数据说话,客观呈现学校、学院、专业办学现状,数据常态监测与可视化预警为学校、专业可持续发展提供决策依据。数据库自定义采集支持对基于常态应用的数据采集与基于智能技术的数据处理,为多种途径采集的大数据留出数据接口,最终做到过程数据对填报指标数据的平替,逐步压缩填报比例。
(三)基于生命周期理论和OBE理念,建立全周期、闭环改进的本科专业校内评估体系
既然专业建设本身是一个长期、系统的工程,对专业的校内评估就不能一评了之,而是需要一个在专业建设生命周期内“定期体检+常态监测”的“伴随式医生”。在关注人才培养整体过程的基础上,更关注在专业建设某些关键节点(申请设置专业、招生满四年、满三届毕业生、满五届毕业生等时间节点)的定期评估与专业成长生命周期内的常态监测相结合,体现对专业“全周期”的监测与评价。以OBE理念中系统闭环、持续改进为评估目的,在“评估—整改—常态监测—督导复查—常态监测—下阶段评估”的评估工作环节中体现“闭环改进”,不断迭代。同时,本科专业校内评估机制中还离不开专业负责人、教师、学生、用人单位、毕业生等多种人员参与评价,学校、学院、专业等三级机构,校内外专家、第三方从不同角度给予评价,从监测数据、专业人才培养质量报告、专业建设各类资料等中体现定性定量的专业建设成果。
三、基于监测数据的应用型本科专业监测与评价实践探索
郑州工程技术学院开展基于监测数据的应用型本科专业全周期监测与评价工作,进行了为期2年的实践探索,形成专业评价数据报告,加强问题反馈落实,为本科专业应用型人才培养质量的提升提供决策依据,推进学校出台专业发展的利好措施,促进了本科专业建设质量的提升。
(一)构建本科专业全周期监测与评价体系
在全生命周期理论下,充分借鉴OBE理念、CIPP评价理论、PDCA循环理论等相关理论研究成果,整体设计本科专业全周期监测与评价工作机制。结合专业建设不同阶段的发展重点,在不同阶段采用不同形式的评价方式。
图1 本科专业全周期监测与评价体系框架图
1.本科专业全周期:依托系统平台开展专业常态监测与诊断。学校根据不同阶段关注重点,构建不同的监测和诊断模型,从不同维度选出若干项指标来常态监测专业建设成果,目前设置师资队伍、学生情况、课程资源、建设成果、学科依托等五个维度共30—40项指标。专业监测与诊断系统可从数据库中自动获得诊断结果、分数和排名情况,以表格、图形等可视化方式形象展示,包括专业总体得分和排名、各指标项得分和排名、专业优势项目和劣势项目。系统保留每年的监测数据和监测分析结果,定期形成诊断报告,对符合预设预警条件的专业(如整体排名或某维度数据排名为后20%的专业)进行预警。
2.设置新专业阶段:对新设专业加强校内审核评估,完善专业设置准入机制。学校加强对申请设置新专业的准入审核,制定学校《本科专业质量标准》,重点对于申请专业的师资队伍、专业带头人、实验室、人才培养方案及制定过程、课程体系、对接产业链情况等材料进行严格把关,尤其是要利用学校监测数据对专业教师、实验室、专业带头人等数据进行对比分析,杜绝“先天条件不足”的专业“带病申报”,从根源上制止专业设置“赶时髦”“随大流”,符合条件才可申报新专业,从而打牢专业根基。
3.专业首届毕业生毕业前:开展新增学士学位授权学科专业审核评估校内自评工作。新增学士学位授权学科专业审核评估是省教育主管部门组织开展的对专业是否合格的一次评估,评估结果直接关系广大毕业生能否获得学士学位,需要高度重视。学校针对新增学士学位授权学科(专业)评审指标体系评审标准建立了《郑州工程技术学院学士学位学科(专业)评估观测点及支撑材料》,成立材料审核评估小组,对自评报告、申报简表、116项支撑材料等进行校内评估与指导,及时反馈评估结果和整改意见,督促专业进行整改,有效帮助专业通过省级评估。
4.专业满3届毕业生后:开展本科专业校内评估,检验专业办学水平。在专业满3届毕业生之年,专业办学成果和办学水平基本上可以得到全面体现,地方高校专业在服务地方、对接产业链、校企合作方面的成效也基本显现,专业特色也得以凝练,在此节点实施专业校内评估是对专业的一次全面检验,目的是帮助其认识自身的亮点与短板,正视问题不断改进,促进专业建设上水平、专业特色树品牌。学校制定了《郑州工程技术学院本科专业校内评估实施办法》,明确了评估流程和评估指标体系,组织开展了首批评估工作。
5.专业满5届毕业生后:围绕“五个度”开展专业评价,推进专业高质量发展。对照新一轮审核评估指标体系,结合师范专业认证和工程认证指标,在专业学生毕业五年后学校可围绕“五个度”开展相应的专业评价,如培养目标和培养效果的达成度评价、专业定位与社会需求的适应度评价、学生和用人单位对教学质量的满意度评价等。利用信息化平台进行数据摸底、调查问卷等,结合量化数据指导自评自建,高效开展专业培养目标达成度等评价的梳理举证工作,为通过专业认证打下坚实基础。目前学校在整体体系设计的基础上,具体开展了学生和用人单位满意度的有关评价。
因全周期专业评估的节点较多,以下环节的工作均以专业满3届毕业生时开展的专业校内评估为例进行阐述。
(二)建立基于监测数据的专业评估核心数据指标库
学校充分利用校内数据平台,整合教育质量监测数据、河南省高等学校本科专业建设基本状态数据、河南省高等学校本科专业评价工作采集数据及校内教务、科研、招生、就业、毕业设计(论文)管理等业务系统数据,利用数据分析技术,在专业层面建立了融合监测数据与其他系统数据为一体的专业建设质量数据池,加强对数据的挖掘和分析,抽取客观科学、易评价、无歧义的监测数据指标,建立专业核心数据指标库。
主要有合格评估类数据指标库和专业建设指标库。其中合格评估类数据指标库包括18个核心指标和82个基础指标,涵盖专业基本办学条件、招生、师资、教学、培养、就业、评价等多个维度。专业建设指标库包括基本情况、师资队伍、学生情况、课程体系、建设成效、基础条件,共6大项133项数据指标。
课程体系—培养计划部分数据指标明细项详见下表。
(三)围绕应用型进行专业评估指标体系设计
郑州工程技术学院依据有关文件要求,遵循科学性、发展性、导向性、客观性、高效性、简约性等普遍认同原则,结合本科应用型人才培养特点及学校的办学目标与学校本科专业质量标准,设计了强化应用型的专业评估指标体系。通过查阅文献中的国内外专业评估理论与实践经验,专家访谈专业要素,选取监测与评估指标数据,征集专家意见,修正指标设置与观测点要求,合理赋予指标权重,保证了评估指标体系的有效性。
《郑州工程技术学院本科专业校内评估指标体系》包括专业定位与培养方案、师资队伍、教学条件与利用、课程与教学、质量保障、人才培养质量、专业建设成效等7个一级指标、16个二级指标和31个三级指标(主要观测点)构成。指标体系中包括62个教育质量常态监测数据指标,以定量形式计算得分,分值占总评价分值的65%。指标详见下表:
表3 郑州工程技术学院本科专业校内评估指标体系
指标体系围绕专业培养应用型人才的培养目标、课程设置、条件支撑、学生创新创业能力、省域内就业等方面,突出应用型评价导向。一是在各一级指标中增加与实践相关、与应用型人才培养相关的观测点数量,在观测点评审标准中突出对培养应用型人才的基本要求,如在“6.3.1就业与升学”观测点评审标准中强调了“在本省域内就业,就业行业符合本专业人才培养服务方向”。二是在“评审内容与标准”中加大了能反映应用型人才培养的观测点的分值权重,通过设置较高分值强调其重要性,如 “6.2学生综合素质水平”中,“毕业综合训练”与“创新创业能力”两个观测点的分值占该二级指标的50%,引导专业重视毕业设计(论文)质量和在实践中完成比例,提升创新创业教育成效。三是在专家评审中,着重考察人才培养质量、培养过程以及专业围绕应用型建设、服务区域经济社会发展的专业成果,以应用型为中心进行专业建设。
(四)开展专业校内评估的实践
1.搭建校内平台,建设本科专业校内评估系统。学校投入专项资金与欧赛斯公司共同建设了本科教学质量监控平台,其中包括搭建了专业评估系统和专业监测与诊断系统。学校在利用平台实现教育质量监测数据任务的校内多任务采集之外,还可便利进行自定义采集,将外部数据进行整合统一,形成专业建设质量数据池。
在结合学校实际进行平台设置任务和指标体系后,专业评估系统可以实现专业校内评估的线上线下结合、定量定性结合、系统打分与专家评议结合。平台的评估材料提交、学院审核、量化打分、专家评审、结果分析等环节可在线上评估,简化流程,为学校制定教育教学发展规划、资源调配等决策提供客观数据支撑。线上专业评估结合量化指标数据自动引用与计算出定量数据指标的评价分,连续两年发布《本科专业人才培养质量报告》评估流程,提高评估效率与质量。线上评估减轻了评估工作量,通过大数据平台强大的数据分析与统计功能,形成专业质量监测评价分析报告。
2.健全监测评价组织机构。学校成立专业质量监测与评价的决策、管理、执行三级组织机构。本科专业校内评估领导小组作为决策级,负责学校本科专业评估工作的规划、统筹协调和指导监督,对优化专业设置和专业动态调整起决策作用。领导小组下设的本科专业评估工作办公室作为管理级,主要负责制定(修订)专业质量监测评价指标体系,具体统筹组织、指导督查全校专业监测评价,实施评价过程管理,监测评价结果与实施效果上报决策级。执行级即学院本科专业评估工作小组,具体负责专业质量监测评价措施和工作要求落实到位,规范采集、填报专业监测评价数据和信息,进行本科专业自评,并将结果反馈上报管理级。
3.优化评估流程。学校对有三届毕业生的专业进行分批评估,以四年为一个评估周期。主要流程分为专业自评与学院审核、专家组评审、公布评估结果、整改与督导复查四个阶段。
学校发布年度本科专业校内评估工作安排,参评专业线上确认评估监测数据,提交相关评估支撑材料,以数据、事实为依据开展自评,凝练特色,查摆问题。各二级学院专业评估工作小组负责对本学院专业自评情况进行审查。学校组织评估专家进行线上线下评审,线上查阅数据和评估材料,线下组织现场考察。专家进行综合评分(系统对量化数据自动评分),给出专家评审结果和专家组评估报告。学校本科专业评估领导小组审议专家组评估结果与意见,确定专业评估等级并予以公示。接受评估后参评专业进行整改,学校对专业整改情况进行督导复查,对于评估整改落实不力的专业采取相关问责措施。
学校专业评估在系统平台数据常态监测的基础上,结合日常检查评估结果直接用于某些观测点的打分,强化培养应用型人才的过程评价,减少了专家和参评专业的时间和精力,降低了评估成本,也以评促建,促进了日常教学环节的不断规范。
四、基于监测数据的应用型本科专业评价探索成效
在基于监测数据的全周期的应用型本科专业校内监测与评估的导向作用下,学校各专业积极推动专业和课程的建设与改革,创新教学模式,融合专业教育与创新创业教育、综合素质教育,强化学生创新实践能力培养,在专业建设发展方面取得了一定的成效,应用型人才培养质量逐步提升。
1.形成专业建设质量持续改进的闭环机制。全周期的专业监测与评估对专业定期开展评价,参评专业针对专家评审意见制定整改方案,采取有效措施进行整改建设。专业建设状态数据客观可靠展示专业整改与建设效果,对专业整改情况进行督导复查与动态监测相结合。评估整改落实不力的专业将面临问责及调整措施,专业减招、停招,专业逐步被淘汰。整改结果合格专业进入下一个专业评价周期。
2.形成专业结构动态调整的良性循环。各阶段专业评估结果与评估等级、动态监测与预警结果与专业招生、申报项目等挂钩,评价结果对于“不合格”专业明确了限制招生等约束条件,对评估结果优秀专业给予支持。各种激励与约束机制促使学校各专业之间形成比赶超的专业建设竞赛氛围,激发了专业内涵建设内驱力,优胜劣汰,学校专业结构形成良性循环。结合地方经济结构设置支柱产业、战略性新兴产业相关专业,控制在校生规模较大、就业率低的专业等,压缩了部分专业的招生计划,动态调控促进专业形成面向地方的应用型为主的校内专业结构体系,增强为区域经济社会发展服务的能力。
3.专业应用型人才培养、服务社会能力明显增强。以2022年为例,学生获国家级学科竞赛奖167项,国家级竞赛中获一等奖17项;获国家级文艺、体育竞赛奖4项,国家级创新创业项目11项,公开发表论文11篇,申请专利8项,学生综合素质不断提高,用人单位满意度为94.51%。学校契合地方产业发展,产教学研创融合,主动融入区域产业转型升级和创新驱动发展,在科技成果转化,制定国家标准、行业标准,为地方政府、社会发展建言献策,理论知识科普宣传服务、定点帮扶取得实效,为地方经济社会发展提供了有力的人才和技术支撑。
4.专业建设成果初步显现。学校目前获批省级一流专业4个,国家一流课程3门,省级一流课程24门,省级虚拟教研室2个,省级优秀基层教学组织13个,省级大学省校外实践教育基地8个,在河南省本科高校青年教师课堂教学创新大赛中10名教师获奖。2021年度获得河南省高等教育教学成果奖共5项,立项建设省级教育教学研究与改革项目10项,河南省首届教材建设奖评选(高等教育类)一等奖1项。2022年度本科高校研究性教学改革研究与实践项目立项2项、示范课程立项建设3门,当年新增省级虚拟仿真项目2项、省级教学名师1人,省级高层次人才1人。2023年,学校获批2项国家自然科学基金,立项河南省重点研发专项项目1项,科研项目实现新突破,学校高质量发展取得明显成效。
【作者:周芬芳,郑州工程技术学院副教授 本文系河南省高等教育教学改革研究与实践项目(2021SJGLX293)、郑州工程技术学院2021年度教育教学改革研究与实践项目(ZGJG202103A)的阶段性成果】
编辑:申久燕