摘 要:BEC口语测试旨在对考生的口语能力进行公正、合理的测量,从而真实、准确地反映考生的口语水平。但是,因受多种因素的作用,很难达到预期的理想结果。本文旨在通过问卷调查,应用有关测试学理论,略论商务英语系BEC口试系统中存在的一些有关效度、评分信度和反拨影响等方面的问题,并提出完善对策。
随着社会的发展,对英语口语能力的要求以及对此能力进行有效的测量的要求也越来越高,有关测试口语能力的探讨已成为测试界和教学界共同关注的焦点。英语口头交际能力因其日益突出的重要性而备受BEC口语测试界的重视(肖德法、向平,2017)。鉴于口试的巨大反拨影响,教学界,特别是教学第一线的教师们对此也倍加重视。近十几年来,国内对测试学及其在语言教学中的应用的探讨逐渐增多,反映出国内的语言教学正在向纵深方向发展,寻求更为规范化、理论化的测量工具作为教学依托。当今综合素质的培养以及现实的就业压力,使大学生意识到自己必须具备一定甚至较高的语言交际能力,为此他们有着良好的学习动机,积极配合教师的教学工作。但到了关键环节--—测试,如果没有一个合理、可行的测试措施,就会误导学生,打消其积极性,无法测出其真实水平。鉴于上述,笔者认为口语教师学习和了解有关测试学理论,对英语口试进行批判性略论,从学校和学生的实际出发,设计出科学、合理、高效度的BEC口语测试,来测试学生真实的口语水平,这不仅能提高口试质量,而且还能最大限度地反映教、学、测三者之间的相互促进联系,为今后口语教学和BEC口语测试工作指明正确方向。为此,笔者依据测试学中有关效度、信度、评分信度、反拨影响的理论,对我院英语系2017年BEC口语测试成绩进行质量略论,并提出完善对策。
一、当前我院英语BEC口语测试系统中存在的问题我院英语系英语口语的目的是为测试在教学大纲指导下学生的口头英语应用水平和技能提高情况,促进和加强学生口语的学习训练,帮助其改进学习措施,从而为老师今后教学和测试工作提供可鉴性指导。然而,在设计和具体实施方面,仍存在多方面的不足。就语言测试领域而言,英语BEC口语测试属于语言测试中最重要却也是最难的一个方面。长期以来,一直处于无序状态,教师操作的测试内容,方式和执行评分标准各不相同,随意性较大,无法真实有效地测试出学生的实际口语水平。我院BEC口语测试的训练采用朗读及读后回答问题,简短发言等口试技术。为了解BEC口语测试的相关情况,笔者于2017年6月对我院06级商务英语系三个班级150人进行问卷调查。其中有66人提出了自己的改进意见。其结果显示,学生对此种BEC口语测试基本持肯定态度,但也从切身体会出发,提出在测试时间、测试内容、口试评分、考官提问技巧及每次考生人数安排(建议两人一组)等方面仍须改进。该测试系统主要包括:语言样本的引出(即口试技术)以及对该语言样本的评分这两个主观性及随机性极强的复杂步骤。1.题型设计方面(即口试技术方面)。题型设计的随意性。在语言样本的引出技术上,我院BEC口语测试体现出了不同测试者(通常为口语任课教师)各自的偏好和侧重。朗读(reading aloud)、简短发言(short talk)、图画描述(picture descrip-tion)、角色扮演(role play)、小组讨论(group discussion)等引出技术,常被应用于对学生口语能力的测试。其中,图画描述、角色扮演以及小组讨论等常用测试技术都具备了结构效度,因其分别测试了目标要求中的英语描述能力、对话、谈话能力、讨论能力,以及交际能力等(王祯福等,2017)。此外,根据Hughes对内容效度的定义:“内容效度(content validity)指测试内容包括了所要测试的语言技能、语言结构等方面有代表性的要素(Hughes,2017)。”此多数测试形式也都具备了内容效度,因其考查项目与学生所学内容相关,从而构成了语言技能、结构等方面的代表性样本,而这些语言技能和结构正是我们所要关注的,然而,检查中发现个别测试技术如朗读,简短发言等,仍存在效度或信度方面的问题。朗读及读后回答问题这一项目常被用于口语测试中,原因可能在于,这一项目较其他易于评分,因其测试任务较为具体。朗读旨在测试学生的语音语调和语法水平;朗读后回答问题,目的是考察学生的理解能力,而理解能力不应放在BEC口语测试中来考察(余国兴,1998)。可见,这一测试项目显然没有紧扣教学内容,缺乏预测效度。因此,朗读存在表面效度,内容效度及预测效度方面的问题。此外,这种测试的结构效度也令人置疑,因其“无法根据一种语言和学习理论来测量某些具体的特征”(Heaton,1988)。同时,朗读测试也无法充分测试考生的交际能力:用于朗读的材料更适合测试阅读;是一种正式的言语形式,与目标要求中的非正式谈话交流形式不同,常带有机械性;使学生在测试时仅忙于应付语音语法要求而忽略了材料的具体意义。口语交际能力是一项很重要的语言技能,对商务英语系的学生更是如此。简短发言这种独白式的测试方式也有悖于交际语语言测试理论,结构效度不足。从心理学角度看,考生要就一个题目进行长达五分钟的持续性发言,必须保持精神的高度紧张。并且在这种非交互性的测试中,面对的只有监考员而非谈话对象,所承受的心理压力极大,不利于考生的考场发挥,这从某个侧面也反映了测试环境的不真实性。更为严重的是,有些教师在测试过程中只给学生提供一项考试内容,如仅对某一话题作简短发言。题型单一使的学生拉无法较全面地展现自己的口语能力。然而测试的题量越大,信度越高;测试的内容覆盖越宽,效度越好(David,2017)。2.时间和内容设计方面。调查问卷结果显示,多数学生认为测试时间(3-5分钟)过短,(考生反应:有些同学一开始有点紧张,可在刚进入状态时时间已经到了,有点遗憾),难以将自己的思想表达清楚、完整,不利发挥自己的真实水平。同时,考生反应测试内容较为单一,不足以全面考查自己的口语表达能力。因此,为能获得尽可能多的对于受试者语言应用能力的可靠信息,一次BEC口语测试的时间应尽可能安排在10-15分钟。3.评分制度方面。由于我院的某些班级由不同的教师任教,在考试执行上会存在较大异同,包括考试时间的把握,对评分标准的不同理解,乃至评分结果。一些教师出题时可能疏于全面抑或考虑到哪些形式便于考,而非哪些内容应该考。因此,考试项目一般比较单一,考试时间过短,对学生的能力要求也没有具体明示。类似这种考试样题单一,考试时间过短,从而作用了口试质量。此外,口试的评分结果也是作用信度的一个重要因素。我院英语口试缺乏具体明确的评分标准,且考官的角色大都由一线的教师来担当,大都凭自己的模糊印象打分;同时,部分考官不自觉地将起始考生的分数当作参照分,这样就导致了评分一直偏高或一直偏低现象的出现。如果后一考生成绩的依赖于前一考生的成绩,而不是起始考生的成绩,前一考生的高成绩可能无形中会超标压低后一考生的成绩,反之亦然。这样就可能出现同组或同一考官评分忽高忽低的现象。而且,哈罗效应时有出现,即在考评中,考评者凭主观印象而产生的误差。例如由于整体印象而作用个别特性评定的倾向(比如根据被考评者姿容端庄的印像,认为其责任感和合作性也很强的考评倾向);根据某一特殊的局部印象而得出整体印象的倾向;考评者特别看重某种特征,所以当被考评者具备这一特性时,就推断其他特性也优秀的倾向等。克服哈罗效应的办法是在选择考评要素时,不选不易观察、不便于单独抽出或不能明确加以定义的要素。为了克服这种误差,应让考评者认识哈罗效应对考评的作用;应充分理解各考评要素间的相互联系;对各考评要素应分别考评,不要同时进行考评;对每一考评要素,应考评完所有的被考评者以后再转向下一项考评要素。在这种情形下,如果考生正是自己认为较差的学生,即使该考生在某些评分项目上占优势,分数也不会高。因此,就造成了平行班级间因由不同任课教师评分而出现打分偏高或偏低的情况。我们常会听到学生们抱怨自己的英语口语能力不比其他班级的某些学生差,但评分结果却低出十几个百分点。像这类考试就存在评分员之间的信度问题。同时,即使是同一个评分员也会因缺乏固定的评分标准而常出现评分员的内部信度问题。Hughes指出,理想的考官人数应为一个以上(Hughes,2017)。上述所提到的口试当中出现的各种质量问题如得不到足够的思索及重视,就会导致测试产生某些负面反拨影响,这，英语毕业论文，英语论文 |
