摘要:从课程目标达成评价与工程教育专业认证“底线”要求的关系出发,对教学目标与学习成果的概念进行了学术溯源与辨析;通过对学习成果的基本特征及成果要素、成果属性等相关概念的介绍,论述了聚焦学习成果设计课程目标的必然性和重要性;阐释了课程目标评价的目的与本质,并基于修正的布卢姆分类学框架,解析了对典型认知行为有效观测和可靠度量的一般原则与方法。梳理、总结了专业认证制度实施以来在课程评价方面取得的成绩及存在的主要问题,并就今后的努力方向与工作重点提出了建议。
一、引言
工程教育专业认证在我国的快速推进,使得产出/成果导向(Outcome-based education,OBE)① 的理念正逐渐被高校及其专业所接受。而作为OBE结构体系中关键一环的课程教学目标达成评价,也开始得到应有的重视。因为它直接关系到专业认证的“底线”要求,即专业是否建立了面向产出的内部评价机制②。从基本逻辑上讲,专业的毕业要求是由一门门具体的课程加以支撑的;因此,只有证明了课程教学目标的达成,才有可能证明专业层面的学习产出即毕业要求的达成。
毋庸讳言,尽管课程目标的达成评价在专业认证标准体系中,以及在“学习范式”下的教学质量评估[1]中是如此重要,但在具体实践中,这项工作仍然令专业和一线教师深感困惑和棘手。事实上,即使在国际教育界,也普遍存在“一个心照不宣的假设”,即认为“确定学生是否获得某些特定的技能,似乎比教给他们这些技能困难得多”。[2] 只不过长期受传统教育观念的影响,这种状况在我国表现得更加突出而已。现实中,常有不少专业感到不解甚至委屈,明明自己也按要求设定了关联毕业要求的课程目标,也建立了课程目标和考核环节的对应关系,并不辞繁琐地设计了各种课程目标达成度的量化计算方法,但在认证申请或考查中仍然被判定为触及“底线”而不予通过。问题究竟出在哪里呢?
客观地讲,近年来随着专业认证工作的稳步推进,人们对认证标准的各种“解读”也愈发细致;特别是在若干院校、专业先行先试所提供的经验和“范本”效应的加持下,专业认证要做到一定程度的“形似”已非难事。但是,这是否意味着这些工作真正满足了标准的内涵要求呢?具体到课程目标的达成评价,作为毕业要求达成评价的基石和核心,我们怎么才能保证其有效性?如果对这个问题再加以溯源和展开,我们的教学目标和学生的学习成果之间到底是何关系?怎么才能把学生的知识尤其是抽象的能力“考”出来?何为考核,又何为评价,它们之间又是什么关系?等等。如果对这些基本问题不做深入的学理探究而仅仅依靠既往经验或生搬硬套,恐将无助于OBE等先进理念在教学实践中的落实,更无助于专业认证初衷的实现。
二、从教学目标到“学习成果”
教育目标或教学目标作为一种科学化概念为教育界所接受和应用,应归功于拉尔夫·泰勒关于课程开发理论的研究,即著名的泰勒原理。[3] 简单讲,教育目标可以认为是对课程体系、课程和课堂教学活动预期结果的一种主观设想和陈述。这种目标可以定义在不同的层面,如我们已相对熟悉的培养目标,就是在专业教育的层面,对学生毕业五年左右所能达到的专业或职业成就的总体性的预期和陈述。它在契合经济社会发展需求的同时,也较多地体现着院校、专业的办学定位,以及人才培养的使命和愿景。而同样在专业层面,毕业要求则明白无误地以“学生学习成果”的形式,更具体地描述了他们在完成特定的专业教育后所取得的学习成效。这种成果或成效,按目前国际通行的做法,一般地被定义在认知、态度和行为三个基本方面,它们共同构成了专业产出的所谓“宽度”。[4] 我国的专业认证亦遵循华盛顿协议,将毕业要求设置为十二条通用的标准框架,并多以“知、能、素”结构、“543”结构[5],或“技术性”与“非技术性”能力的分类,对它们加以解析和区分。
可见,在专业层面,“教育目标”与“学习成果”其实是既有联系又有区别的,它们分别以培养目标和毕业要求的“面目”出现,而前者可视为后者的一种终极形式——这一点随着认证理念的普及已渐为人们所认识和接受。但在课程层面,课程教学目标和课程学习成果这两个术语的同时使用,却又难免使人感到困惑。尽管大多数人对它们是不做区分的(准确地说,没有去加以区分的意识),但也有学者认为这两个概念间存在一定的差别,各有其内涵指向和适用语境。其中最常见的一种观点是,课程目标的描述是以教师作为行为主体的,而学习成果则是以学生为主体的。另有观点认为,课程目标通常会概述教师意图覆盖的教学内容和课程所要应对的学科(专业)问题等,它对学生预期学习成效的设定是相对宏观的;相反地,学习成果应具体地聚焦于学生在完成课程或课堂学习后应该“Know(知道)”什么和“Realistically be able to do(实际能够做)”什么上。[3] 显然,在这种描述中,两者之间的关系与培养目标和毕业要求间的关系有一定的相似性;学习成果可认为是教学目标的一个子集或一种类型,或者更准确地说,学习成果实际是教学目标在学生侧的具体映射。
这种理性解析在学理上无疑具有重要价值,但在具体实践中,若过于纠结于它们之间的形式区别,则可能带来不必要的混乱。事实上,泰勒所主张的教学目标即已包括了“行为”和“内容”两个方面;而他对教学目标理论的贡献,正在于强调以行为方式来具体化陈述教学目标。泰勒的目标模式,在经布卢姆深化拓展后,构成了后来OBE的理论基础,因此二者在本质上是一致的。在主张OBE理念的专业认证体系中,如何认识和处理它们之间的关系,只需厘清一个基本的逻辑即可:既然毕业要求是专业教育的学习成果,那么,支撑其达成的课程目标,本质上也应该是学生的课程学习成果。当前有学者所提出的课程目标表述应以学生为主语、以行为动词为引导等形式建议[5-7],实际上就是课程目标“学习成果化”这一思路和要求的体现。
但仅有这样的形式是不够的。问题在于我们仍然对学习成果的内涵、特征和它在教学中的价值缺乏足够的认识。之所以强调学习成果,其原因在于:从教师的角度看,成果导向有助于他们确定教学的重点,选择合适的教学方法——更为重要的是决定如何最为恰当地评价学习效果;而从学生的角度,学习成果可帮助他们更好地建立学与教的关系,明确教师的期望,从而更具针对性地开展学习。众多文献指出,学习成果需具备所谓“SMART”的特征要素:①具体,即学习成果应被明确定义,应详细、准确地说明需要完成的任务;②可测量,即具有可观测的行为特征,或能以某种方式进行衡量;③可达成,即设定的成果在现有资源条件下是合理的,通过一定努力可以达成;④相关的,指师生等利益相关方应对成果具有共识(共同认可);⑤有时限的,即应说明成果完成的时间期限,或一定时间内完成的比例等。
在上述学习成果的特征要素中,最重要的是前两个,即具体化与可测量,或者说可观测。学习成果的具体化,首先表现为对它进行“要素”的分解。所谓成果要素,指的是以某种逻辑关系规定在一个成果之中,但通常需用不同方法(手段)加以观测的能力要点[2](对毕业要求指标点的分解就是典型的对成果要素的解析)。而在课程层面更需关注的,是在此基础上如何进一步提炼和细化成果的“属性”——即那些能够明确证明成果(或成果要素)规定的某种能力确已具备的具体的、显性的行为。布卢姆目标分类学常被用作描述和组织认知领域学习成果属性的框架基础。2001年,L.Anderson和 D.Krathwohl对布卢姆分类学做了进一步修正[8],并在此框架下开发了一种“知识维度-认知过程”模型,针对事实性、概念性、过程性和元认知四类知识领域,分别研究了它们与修正后的六个认知层次(向度)的对应关系和属性表现。参考文献[3]则将布卢姆的认知域和克拉斯沃尔的情感域定义相结合,针对不同目标层次分别建立了对其进行特征化、具体化描述的行为动词词库。国内李志义等亦开展了类似研究。[5,6]这些工作,无疑为我们制定“学习成果化”的教学目标提供了很好的指导与参考。
三、课程评价的本质与方法
(一)课程评价的本质——“证据说”视角
泰勒指出,“评价作为判断教育目标实现程度的过程,需要评价者确定与教育目标相一致的行为证据,采用与之相适应的程序实现具体过程”。Richard M. Felder等也认为,一个有效的课程目标,应是对“对学生可观测行为的一种陈述,(使其)可作为学生在课程学习中获得的知识、能力和态度的证据”。[2] 这两种表述,从不同角度揭示了教学评价特别是课程评价的本质和核心任务,即基于可观测的行为证据来分析、判断目标是否达到预期。完整的教学评价,实际应包含三个环节:一是设计观测方法,观测目标行为并收集相应的信息数据,称之为“获取证据”(即通常所说的“考核”);二是对所得信息进行分析、解读、研判,即所谓“解释证据”;三是基于不同的评价目的得出相应的评价结论,称之为“诊断证据”。可见,如何收集并确定“可接受”的行为证据,是教学目标评价的基础和关键。
由此可进一步看出学习成果具体化、可观测化的必要性。所以不论是对毕业要求还是对课程目标的分解、细化,一方面当然是为了更好地落实它们,但更具意义的,是为了更好地评价它们。而我们在实践中之所以觉得课程目标难以评价,或者说所谓“评价”的意义不大,一个根本性的问题就在于目标的设定没有指向学生的可观测、展示性的具体行为及其产出,而总是习惯于用“掌握”“学会”“具备”这种抽象的、隐性的、模棱两可的词汇加以描述。这种没有明确行为内容和程度意蕴的所谓目标,显然是不可观测和衡量的。
(二)课程评价的方法与要求
教学评价(此处主要指收集、获取数据)的基本要求有两条:一是效度,意味着所用评价方法需与所评价的目标相匹配;二是信度,指评价由其他人做出,或同一人再次进行时,结论应是相同的。从理论上讲,评价所用的方法越多,上述要求满足的可能性就越大。
具体用于教学评价的方法已有很多,总体上可分为直接法和间接法两大类。前者一般基于标准化测验、课程作业/报告和学习过程表现等直接判据,由教师对学生的学习成效做出量化或分级评定;后者则多采用访谈、调查(既可以针对评价对象,也可以针对第三方)等形式进行,此时所获得的信息或数据不再来自于对评价对象学习行为及其结果的直接观测,故属于一种间接判据。
评价的最大难度在于如何保证其效度。如前所述,课程评价的要点在于对学生行为(或其结果)的有效观测和衡量;而某种考核、评价方式合理与否,关键在于它能否使那些与课程目标中的成果要素相匹配的学生行为,以某种可观测的方式得到呈现。比如,要评价学生某项设计能力的达成程度,则必须让他开展相应的设计活动,以其过程表现及作品产出来加以衡量;再如,要评价学生是否能在工程设计开发中考虑到社会因素,则至少需要针对一个特定的开发命题,组织学生围绕开发方案实现的手段、途径、利弊等展开讨论或撰写报告,以观测、判断其是否具备这种意识。然而,目前我们习惯且相对擅长的,仍限于对知识的记忆、理解及常规应用这样一些低阶认知目标的考核,而对于“分析”“评价”“创造”等偏于高阶的目标,则常有无从下手之感。
从根本上讲,评价的效度取决于我们对教学目标的认识程度。对目标或学习成果的要素内涵认识得越深刻、越具体,就越容易寻找到合适的观测对象和评价依据。在修正后的布卢姆分类学中,认知能力在记忆、理解、应用、分析、评价和创造6个向度下,又被细化为19个亚类。以“分析”为例,其内涵要点体现为“将材料或概念分解成部分,决定各部分间如何相互关联,或部分如何与整体结构或目的相关联”。具体讲,该认知向度包括“区分”“组织”和“归因”三种认知行为;而这些行为,又可通过“创建电子表格、开展调研,或绘制图表、图形”等方式来加以呈现。表1针对“分析”这一认知能力,给出了关于其行为内涵的细化描述,以及考核设计的方法依据。这些研究,无疑为我们合理评价学习成果或教学目标提供了非常有益的思路启发和方法指导。
表1 “分析”认知目标的内涵及其考核
再来看评价的信度。具体到课程评价,一般来说,客观性测试(例如标准化的选择题等)的信度较易保证;反之,那些带有一定主观性的评价,如对学生实践作品和项目报告等的评价、分级等,则容易发生信度问题(尤其当评价主体不同时)。因此,设计可靠的评价方法,建立尽可能客观和详细的评价标准显得尤其重要。
量规表是一种正在教学实践中得到广泛应用的“真实性”评价工具,强调将评价与学习以及课堂教学整合,以真实任务情境为基础进行。它建立了对学生的作品、成果或其他任务表现进行等级评定的一套标准,是一个基于标准的评级量表。量规表可简可详。前者通常只对评价指标(观测点)进行简单的水平分级甚至只做“是”与“否”的判断,往往不包括关于分级标准的说明;而后者则需给出每条评价指标下各水平等级质量标准的详细说明(包含若干行为特征的描述)。标准描述得越具体,来自不同评价主体的评分差异就越小。当把学生表现看作一个整体时,各评价指标通常并非同等重要,故有时还需为每个指标设置一个权重,通过加权计算得到对学生的整体评级。此类量规表可和学习任务一起预先派发给学生,从而把对学生的期望清晰地传递给他们,为其学习活动提供明确导向,因而不单是一个评价工具,同时也是一个教学工具,是连接教学与评价的一个重要桥梁。量规表可在统一框架下实现对多个目标的同时评价,既可用于终结性评价,也可用于形成性评价。需要注意的是,形式本身并不能保证量规评价的合理性;其效度本质上仍取决于评价指标设计、分级标准设置等体现评价内涵要求的环节或要素。
四、课程评价与面向产出的专业内部评价机制
(一)工程教育专业认证的“底线”
在工程教育认证中,专业既需要抓住“主线”,即紧紧围绕“毕业要求的制定、落实和评价”开展工作;又必须守住“底线”,即真正建立和实施面向产出(学生学习成果)的内部评价机制。而所谓机制,就是“针对特定目的而制定的一套规范的处理流程,包括目的、相关规定、责任人员、方法和流程等”。认证标准同时特别指出,要对“流程涉及的相关人员的角色和责任有明确的定义”。③ 这样的机制,需要相应的制度文件加以保障,并能通过一定方式证明其得到了有效落实。
建立面向产出的内部评价机制的目的,是为了对专业产出即毕业要求的达成情况进行自我评估,判断其与预定目标的符合程度,并以此作为专业持续改进的依据。它之所以被视为“底线”,是因为这种机制的建立直接关联、体现着工程教育认证的实施目标和本质要求——构建可靠的教学质量监控和保障体系,以促进教学质量持续提升。如果一个专业自己都无法证明其最为核心的质量目标(保证学生达到毕业要求)的达成程度,无法对专业教育成效进行有效评价,那么,所谓的质量保证和改进显然都无从谈起。
在这一底线性机制中,“面向产出”是关键。毕业要求这个“产出”是通过指标点分解落实到一门门课程的,因此,问题实际就体现为面向产出的课程体系评价和课程质量评价——特别是后者,是整个教学质量监控的核心所在。面向产出的课程质量评价的基本依据就是学生在本课程的学习表现,主要方式是判断课程目标特别是那些关联毕业要求的课程目标的达成情况。它强调课程目标的设置应聚焦于学生的学习成果,在内涵上能支撑相应的毕业要求指标点,课程的教学内容、教学方法和考核方式等必须与课程目标相匹配。特别是考核方式,如果不能匹配相应的课程目标,就会出现前文所说的评价的“效度”问题,最后的结论也就失去了意义。
从以上讨论可以看出,一个专业未能达到认证“底线”要求,不外乎以下几种情况:一是未能建立评价“机制”,工作不规范、无保障,缺少明确的责任主体或方法流程;二是评价未能面向“产出”,虽然建立了教学质量监控和保障体系,但主要教学环节的质量要求和课程目标没有聚焦于学生学习成果,是“评教”而非“评学”;三是教学评价尤其是课程目标的评价缺少基本的合理性(考核方式与目标内涵不匹配),无法证明课程目标和毕业要求的达成。其中后两种情况更为普遍,表现得也更为隐性。
(二)认证实践中课程评价的主要成就与问题
值得肯定的是,工程教育认证实施以来,各专业积极践行认证理念,严格落实认证标准,以课程目标达成评价为核心,围绕面向产出的内部评价机制建设,进行了持续的探索与改进,在守住“底线”的同时,也有效推动了教学评价朝着规范化、合理化的方向发展。这些至少表现在形式层面的成就包括:
——建立了课程目标的达成评价机制。明确了课程目标评价的责任主体、评价方法、评价过程和评价周期等,形成了相对规范的评价资料归档制度。
——课程目标的考核方式和评价主体趋于多元。不少专业尝试在课程评价中引入学生对学习效果的主观评价,作为对客观评价的补充或印证。非标准化考核渐至普及,并针对主要考核方式制定了详细的评价标准。量规表等评价工具在工程实践类课程或教学环节中得到较为普遍的应用。
——建立了课程评价合理性审核制度。在课程大纲审核的基础上,围绕如何促进和保证课程目标评价的合理性,做出了进一步的制度安排:要求课程根据大纲对考核方式及成绩占比等进行事先规划,特别是针对期末考试这样的重要环节,要根据其对不同课程目标的支撑关系,预先进行试题分配和相应的题型、题量及分值设计,并就其合理性做出说明。通过对这些要素的自查和审核,来进一步规范和强化对专业负责人、课程负责人和相关人员(如命题人和测试人等)的责任要求。
在肯定以上成就的同时,我们也应清醒地看到,当前的课程评价仍然存在流于表象和形式的问题,导致认证中一些关键理念和要求,并未得到真正有效的落实。具体表现在:
1.课程缺乏真正意义上的具体化、可观测的学习目标。如前所述,造成这一问题的根本原因在于我们对什么是学习成果仍缺少真正的理解,无法做到对“学习成果化”的教学目标的准确提炼和表达。不少课程目标实际仍是传统模式下教师意图的宏观性、抽象性描述,尽管它们也可能是以学生作为主语(主体)的形式呈现的;另一个原因,则与对标准要求片面、机械的理解和执行不无关系。比如一味追求课程目标与毕业要求指标点的“一对一”对应(这样的确会使毕业要求达成度的映射和计算比较简便),在某些情况下,会影响到课程目标的逻辑自洽,妨碍它的进一步分解和细化。
2.缺少对学习目标的认知过程及内涵的理解,未做到针对目标设计合理有效的考评方式——换句话说,课程目标评价效度缺失。这个问题和上一个问题是紧密关联的,其原因和表现前已做过讨论。如在标准化考试命题中,为什么这些(这类)题目对应于目标A,而那些(那类)题目对应于目标B,课程负责人和命题人首先应对此有清晰认识并能就其合理性做出说明。而目前的合理性审核,大多数还只限于形式审查,在现阶段,其作用毋宁说更多体现为对“评价合理性”意识的一种唤起和强化。当然,此问题本身在实践中是具有难度的,在有了这种意识之后,还需付诸更多努力才能逐步改进和解决。
3.评价不同程度地偏离目标。典型地如将学生的纪律出勤表现、课堂提问频次、作业提交效率等作为依据,计入对某个课程目标的达成评价。学生的情感和态度养成是所有教育教学活动的重要目标,这是无需置疑的。它以隐性的方式,对那些认知类学习成果的获得起着重要的保障作用,但并不是说两者之间可以划等号,可以直接用这种态度表现去观测、评价某种认知能力的达成情况。教师可以用适当的约束或激励措施来规范学生的态度和行为,但需注意它们和目标本身的差别,不宜轻率地将此环节的分值计入非态度类课程目标的达成评价。
4.形式繁琐,评价重点不突出。一门课程虽然会设置若干课程目标,但一般而言,它们是有主次之分的;同样地,某一考核环节虽然关联多个目标,但就其与不同目标的匹配性和评价有效性而言,也往往存在差异。这种主次和差异,应在设计考核评价方式时有所体现,抓住问题的主要矛盾或矛盾的主要方面,在对象和方法上突出评价重点。而现实中,这种主次不分、面面俱到、去简就繁的考核设计却屡见不鲜(比如将一个只有10分的环节分配至多达4个课程目标)。这样不仅增加教师负担,而且使得课程评价的逻辑主线和操作框架变得模糊甚至混乱。
5.过程考核和评价流为简单的阶段性终结评价,忽视形成性评价。近年来,不少课程强化了过程性考核,并针对这些考核环节制订了详细的评分标准,这无疑有利于对学生能力达成情况进行更加全面的测评。另一方面,通过这些环节(特别是单元测试、课后作业等),教师也可及时获得教学过程中的连续反馈,从而针对性地改变教学策略或改进教学方法——这种本质上以对学生行为的激励、调控为目的的评价,称为形成性评价。课程终结性的达成评价固然重要,但唯达成特别是唯“算分”的倾向也是不值得提倡的。当然,认证标准中关注的形成性评价并不只限于课堂层面,在此不做详细讨论。
6.缺少对考核结果的合理分析,考而不评、“评”而不改。从教学评价的目的和要求出发,在通过考核获得反映教学目标达成情况的“证据”(成绩数据)之后,更重要的是对数据进行分析、诊断,找出教学中存在的不足和短板,为教学质量持续改进提供依据。但这一点在实践中往往被忽视或形式化对待。目前不少所谓评价更多地还只是统计方法和统计数据的堆砌,并没有结合对教学行为的审视、分析而得出的实质性结论——事实上,若没有从合理性原则出发对考核环节和评价标准的精心设计,就不可能得出有价值的评价结论;而没有这样的结论,也就不可能有所谓基于评价的改进,这些问题是环环相扣的。
五、结语
建立面向专业产出即毕业要求的内部评价机制,是工程教育认证的“底线”要求;这一机制的核心和基础,是对支撑毕业要求的课程目标的达成评价。在OBE理念和框架下,聚焦学生学习成果设定课程目标,既体现着课程目标衔接和支撑毕业要求的内在逻辑,又赋予了其可观测、可衡量的属性保证。这种对学习成果的观测和衡量,必须借助于特定的方式才可实现,所以课程评价的核心,在于合理设计这些方式并有效收集相应的观测、度量数据,以此来判断课程目标的达成情况,并基于相应的分析、解读,为教学持续改进寻找依据。这种课程层面的以学习成果为导向的评价,直接决定和影响着专业整体评价机制的有效性。
在肯定我国工程教育专业认证取得显著进步的同时,也必须正视其间暴露出的各种问题(本文所列举的,仅限于课程评价的微观层面)。放眼国际工程教育质量保障体系的演进历程和基本逻辑[9],可以发现,由美国工程技术认证委员会(ABET)主导的EC2000认证标准,亦先后经历了试点期、推广期和转型期等不同阶段,始终在“面对质疑”和“反思改进”的交替循环中推进。对照并审视我国工程教育认证的发展过程,应该说当前也正处于一个关键“转型期”;这一时期的主要问题,同样也体现在标准项4“持续改进”上。这或许是由认证体系建构的内在逻辑所决定的普遍规律。因此,在基本的“形似”要求达到后,下阶段工作的着力点,在于引导教学评价进一步聚焦“产出”,进一步提升面向产出的评价的合理性和有效性。从根本上讲,在接轨国际理念和标准框架的同时,我国的专业认证制度也需要持续改进,不断完善具有中国特色的标准体系和质量文化;而对专业和教师而言,更需要在渐趋合理的教育评价导向下,切实摒弃形式主义和经验主义,树立“教学学术”理念,不断加大对认证标准背后的学理逻辑、价值内涵的探究并将其落实于具体教学实践。只有这样,我们才能真正迈出通往“神似”的坚实步伐。
(致谢:感谢国家督学、大连理工大学李志义教授,中国工程教育认证协会机械类专业认证委员会秘书长王玲教授对本文的宝贵指导。)
注释
①“Outcome”在教育学中通常有“成果”和“产出”两种汉语译法。本文倾向使用“成果”一词(尤其在论及课程层面学习效果时);同时为了与相关文件的表述保持一致并照顾读者习惯,有时亦使用“产出”(主要在专业层面)。两者并无实质区别。
②相关表述见诸中国工程教育认证协会2020年修订印发的《工程教育认证申请书》《工程教育认证自评报告指导书》和认证考查工作指南等配套文件。
③中国工程教育专业认证协会秘书处编印,工程教育认证标准(2017年11月修订)。
参考文献
[1]欧阳光华,沈晓雨. 学习范式下的高校教学质量评估[J].大学教育科学,2019(6):81-88.
[2]FELDER R M,BRENT R.Designing and teaching courses to satisfy the ABET engineering criteria[J].Journal of engineering education,2003,92(1):7-25.
[3]TYLER R W.Basic principles of curriculum and instruction[M].Chicago:University of Chicago Press,1949.
[4]BESTERFIELD SCARE M,SHUMAN L J,WOLFE H,et al.Defining the outcomes:a framework for EC2000[J].IEEE transactions on education,2000,43(2):100-110.
[5]李志义. 对毕业要求及其制定的再认识[J].高等工程教育研究,2020(5):1-10.
[6]李志义. 中国工程教育专业认证的“最后一公里”[J].高教发展与评估,2020,36(3):1-13.
[7]王永泉,胡改玲,段玉岗,等. 产出导向的课程教学:设计、实施与评价[J].高等工程教育研究,2019(3):62-68.
[8]ANDERSON L W,KRATHWOHL D R,AIRASIAN P W,et al.A taxonomy for learning,teaching,and assessing:a revision of bloom’s taxonomy of educational objectives[M].New York:Addison Wesley Longman,INC,2001.
[9]李明. 美国高校工程教育质量保障探究:历史、逻辑与方略[J].高等工程教育研究,2021(5):173-179.