培训项目评估方案
目录 |
什么是培训项目评估方案[1]
培训项目评估方案是围绕评估目标制订的详细评估计划，是开展项目评估活动的操作指导。不同的评估目的对应不同的评估方案，但总体来看，每个评估方案都需要回答5个w和1个H的问题，即为什么要评估(Why)、评估什么(What)、由谁来评估(Who)、在哪里评估(Where)、何时评估(When)以及如何评估(How)。
培训项目评估方案的选择[2]
培训项目评估方案的设计是评估规划重要的组成部分之一。在这一阶段，培训评估所要解决的主要问题是：在充分考虑各种可行因素的基础之上选择恰当的评估方案。评估方案的选择，直接决定了评估对非培训因素的剔除能力，从而能够更加准确地回答我们所关注的问题：(1)培训产生了何种客观的影响；(2)是否能确立培训活动与影响之间的因果关系；(3)是否能确认培训的作用机制；(4)是否能确认项目产出与其最终效果之间的作用机制。
在实践中，常见的培训评估方案可归为以下几类：实验设计、准实验设计和非实验设计。根据图3一]4所示，我们可以清晰地将这三者加以区分。
图1 实验设计、准实验设计、非实验设计三者之间的关系
(一)非实验设计
非实验设计往往着眼于目标群体纵向的变化，它以项目涉及的整个目标群体作为参照，而不设计专门的控制组或对照组。
非实验设计通常被运用于以下场合：
1．在培训项目涉及的范围十分广泛时，准确地确认具有建设意义的控制组和对照组别是不大可能的，它的实际困难在于：你无法或至少是很难定义不参与的人群。
2．许多项目的目标群体包容了特定地域内的所有人员，这时，通常也会采用非实验设计。
3．在许多情形之下，我们有把握确认培训项目实施前后的目标群体在所有相关方面保持一致，也就是说假设没有培训项目的干预，事前测评和事后测评的结果应该是一样的。在此种情形下，通常采用非实验设计。在实践中，常用的非实验设计方案有两种：(1)单组别事前测评事后测评设计；(2)简单时间序列设计。
(二)实验设计
实验设计被认为是最具科学性、也最有说服力的评估设计。它具有以下几个特点：
1．随机实验(实验的参与者与控制组成员都是严格地根据随机原则抽取的)是项目评估领域中的旗舰，因为它们能够使项目本身在一个很高的置信度上对项目的结果(或无结果)做出解释。
2．它们的研究结果都能在项目于预活动和实际结果之间建立起某种因果关系。因此，随机实验的结论广泛地为政策制定者、项目人员以及公众所信赖。
3．实验设计的关键在于保证随机性。在实践中，常用的实验设计方案有四种。(1)事前测评一事后测评控制组设计；(2)所罗门四小组设计；(3)单一事后测评控制组设计；(4)要素评估设计。
(三)准实验设计
准实验设计与实验设计的关键区别在于随机性。在实验设计中，样本的随机分配形成了具有完全可比性的两个组别：实验组和控制组。准实验设计用对照组取代了实验设计中的控制组。研究者努力创造一个与实验组在所有重要方面都尽可能相似的对照组，但与随机分配产生的控制组而言，它的可比性已经大为逊色了。
准实验设计通常都是回溯性的，即评估的决定是在培训结束之后做出的。这时，无法按随机性的原则产生控制组，实验设计也就不可能实现了。当然，没有随机性的保证，的确无法确立全等价的控制组，但是设计恰当的准实验设计同样会比勉强的实验设计更准确有效。
在实践中，常用的准实验设计方案有三种。(1)事前测评一事后测评对照组设计；(2)时间序列设计对照组设计；(3)单一事后测评对照组设计。
培训项目评估方案设计[1]
培训项目评估对于培训工作的校验和培训效果的改进具有明显的推动作用，需要进行科学的设计。在对某个培训项目做出评估决定后，制定出一个得体、实用的评估方案，这对于培训项目评估的顺利开展会起到关键性作用。
培训项目评估方案的设计影响因素
针对不同的评估主体、内容或目的等，评估方案会有所不同。在进行培训项目评估方案设计时，要充分考虑以下因素的影响：
1．项目实施的调整程度：由于评估的目的和评估结果的作用是要有效引导和修改培训项目及计划，使培训活动能够更加有利于学员个体和组织的需要。因此，在形成培训项目评估方案前要充分考虑该培训项目的方案或计划在组织实施过程中是否会进行修改或调整。
2．培训目标的实现程度：是指通过实施培训活动，能否实现该培训项目预定的目标和功能，如改善学员的知识结构、提高学员的素质能力、实现组织绩效的提升等等。设计评估方案时要充分考虑到培训目标，以及如何对目标达成的方面进行评估。
3．培训范围的覆盖程度：包括培训项目涉及的学员人数、比例、层级等，它决定了最终评估结果的可靠程度分析。如若一个培训项目学员人数过少，那么就难以判定该项目对组织工作绩效产生决定性影响的依据。
4．培训环境的适应程度：培训工作的开展是否与组织的期望与价值相一致，学员的培训环境与其工作环境是否相适应，是否有利于体现培训的优势等等。设计评估方案时，要充分考虑培训成果应用环境的状况，而不能单纯地对培训项目本身下定论。
5．评估主体的专业程度：评估主体的专业程度有助于分析和处理复杂的信息和数据成果，体现了评估的权威性，能确保评估结果的可靠与准确。因此，设计评估方案时，要充分考虑评估主体的专业状况，采取适宜的评估方式与手段。
6．评估成本的保障程度：包括费用成本、人员成本和时间成本等，是设计制定培训项目评估方案时要考虑的重要因素。实施项目评估要涉及培训部门、学员本人及所在部门等不同主体，不可避免地会产生各种评估成本，因此要预先考虑，认真测算，提高评估效益。
培训项目评估方案的设计模型[1]
培训项目评估方案是围绕评估目标制订的详细评估计划，是开展项目评估活动的操作指导。不同的评估目的对应不同的评估方案，但总体来看，每个评估方案都需要回答5个w和1个H的问题，即为什么要评估(Why)、评估什么(What)、由谁来评估(Who)、在哪里评估(Where)、何时评估(When)以及如何评估(How)。因此，评估方案的设计可以遵循一定的模式。
通常情况下，一个完整的培训项目评估方案，应包含以下8个要素.
图2 培训项目评估方案示例
1．评估目标：对应不同的培训项目，评估应根据不同的培训目标来进行，始终与培训目标保持一致，偏离了培训目标的评估检验是盲目和片面的。因此，在制定培训项目评估方案前，应首先明确评估目标，而这也正是组织管理者或培训项目管理者向评估主体传达的评估意图。
2．评估内容：即评估的具体事项，涉及培训活动的方方面面，如培训需求确认、培训目的目标、培训内容、时间、方式、师资、效果等等。评估内容的选择取决于组织管理者或培训项目管理者需要从培训活动中了解和获取的信息。
3．评估对象：即实施评估的受访对象。通常以学员本人为主，也可将与学员有关的人员，如其上级、下属、同事等，甚至培训教师、培训项目主管、组织管理者等都纳入评估对象，以获取更多的评估数据和信息，增加评估结果的可信度。
4．评估主体：即项目评估的实施者，可分为内部评估者和外部评估者两种。需要注意的是，评估主体的职责要划分明确，如谁来收集数据、谁来分析数据、谁来解说数据、谁将继续实施后续的评估、谁来调整评估程序等等。多数情况下，固定由一个人或一个小组来持续实施比较合理，有利于保持评估的连贯性。
5．评估方法：即评估过程中用以判定培训项目质量所采取的形式，包括长期评估法和短期评估法、定性评估法和定量评估法、效果评估法和项目评估法等等。根据不同的评估内容可灵活采用适宜的方法。
6．评估工具：是指在评估过程中用来收集评估信息和数据的方式。如电话访谈、调查问卷、座谈会、学员年会，行为观察，测验和模拟等等。其中，最常用的工具是调查问卷，由于成本低、信息量大、操作便捷，而得到广泛应用。
7．评估计划安排：即实施评估的详细安排，明确在每个时间段进行的具体评估活动。如进行评估的时间、地点、内容，实施评估的对象，评估采用的方法、工具等，是培训项目评估具体工作的日程安排。
8．评估费用：即评估过程中预计将产生的相关费用支出。