(4)预测试和题本修订
案例编写好以后要进行预测试,以便搜集反馈意见,修订题本和完善初步答案。比如,在产品经理能力素质评价中,预测试操作流程如下:首先,编制成案例初稿,共10个案例,包括“案例、问题项目、对案例的建议、你认为处理此案例需要的能力素质”四部分,“对案例的建议”,是为了在试测的时候搜集被评价者对案例的修改建议。“你认为处理此案例需要的能力素质”,是为了进一步验证案例与能力素质的对应设计是否合理。第二,选择被评价者进行预测,每个案例至少选择10位被评价者参与。第三,根据被评价者的预测结果增加、删除、修改案例,同时充实完善初步答案。第四,将修改后的案例和初步参考答案反馈给业务专家,请他们提出相应建议。最后,形成正式的案例分析测评题本。
确定评价标准和记分方法
评价标准是帮助评价者按照规范化的要求进行标准化记分的具体说明。虽然案例分析难以制定客观的评价标准,但是有了标准总比没有标准好。将能力素质进行行为化描述,并分成几个等级,形成评价标准,同时尽可能搜集积累各等级的答题结果,制定出参考答案。比如,将素质模型中的分级行为描述演化为评价构面,将每个评价指标根据评价构面,分成三个等级(好、中、差),再对每个等级的行为特征进行界定。同时,注重案例分析参考答案的积累、完善,并进行分等级整理,最终形成非专业人员也可以操作的评价标准和参考答案。评价者根据被评价者的反应与各等级上行为特征和参考答案的吻合程度进行评分(如图3所示)。
评价者在进行评分时,可以采用二级记分判断法。比如,首先理解和把握每个能力素质及评价构面,然后按照每个等级的行为描述和参考答案,结合主观的理解,确定“好、中、差”中的一个等级。在确定好等级后再进行二次评分,即再进一步评价该被评价者的回答情况是属于该等级的“上、中、下”。如果,记分采用十分制。最高分为10分,最低分为1分。1-10分,又被分成好(8-10)、中(5-7)、差(1-4)三个等级,针对某一个记分点,如果评价者对被评价者做出“好”的评价后,对其再进行二次评价,即确定 “8-10”中具体分数值。
怎么评:紧扣评价标准进行科学评价
在实施案例分析测评时,要明确指导语,以便与被评价者建立良好关系;在进行评价时,要对评价者进行培训,以便评分紧扣标准。
与被评价者建立良好的关系
案例分析测评实施过程中要与被评价者建立良好的关系,关注被评价者的感受。书面的案例分析题目不能太多,以能评价出要评价的指标为准。时间不宜太长,否则被评价者容易疲倦和厌烦。为了让被评价者尽可能认真、如实回答问题,需要设定指导语,向被评价者说明测评的目的,消除他们的顾虑。
对评价者进行必要的培训
对评价者必须经过科学的选择和严格系统的培训,同时还要求他们具有较强的责任感。一般选择被评价岗位的业务骨干、上级领导或者专业的测评师作为评价者。在正式测评之前,可组织评价者进行模拟测评,加深评价者对案例题目、评价标准及参考答案的理解。
评分要紧扣标准,减少主观影响
在进行评价打分时,评价者要紧扣评分标准和参考答案,标出得分点。一般来说,每个案例都应对应一定的评价指标,一个评价指标可能由一个案例进行评价,也有可能由几个案例进行评价。如果某个案例未能评价出所要评价的对应指标,而在其他案例中体现了此对应评价指标,也可以综合起来进行评价。为了保持评价的独立性,评委可先独立打分,然后再对有明显异议的进行讨论。尽量不要受其他无关信息的影响,比如不能因为被评价者的学历、职务等影响客观判断。