a study of raters’ behavior in scoring l2 speaking performance: using rater discussion as a training tool

The studies conducted so far on the effectiveness of resolution methods including the discussion method in resolving discrepancies in rating have yielded mixed results. what is left unnoticed in the literature is the potential of discussion to be used as a training tool rather than a resolution method. the present study addresses this research gap by exploring the data coming from rating behaviors of 5 iranian raters of english. qualitative analysis of the data indicated that the discussion method can serve the function of training raters. it helped raters rate more easily, quickly and confidently. furthermore, it helped them improve their understanding and application of the rating criteria and enabled them to justify their scoring decisions. many-faceted rasch analysis also supported the beneficial effects of discussion in terms of improvement in raters’ severity, consistency in scoring, and the use of scale categories. the findings provide insight into the potential of discussion to be used as a training tool especially in efl contexts in which lack of access to expert raters can be an obstacle to holding training programs. the author argues for future studies to focus on how discussion may function depending on the rating scale used.

بررسی رفتار ارزیابان در نمره دهی مهارت گفتاری در زبان دوم: استفاده از بحث گروهی به عنوان ابزار پرورش ارزیاب

مطالعات انجام شده در خصوص کارآیی روشهای حل اختلاف نمرات ارزیابی و از جمله روش بحث گروهی در حل اختلاف نمرات حاصل از ارزیابی، نتایج متفاوتی را به دنبال داشته است. آنچه که در این مطالعات نادیده گرفته شده پتانسیل استفاده از بحث گروهی به عنوان ابزار پرورش ارزیاب و نه روش حل اختلاف نمرات ارزیابی است. پژوهش حاضر با استفاده از داده های مربوط به رفتار ارزیابی پنج ارزیاب ایرانی زبان انگلیسی به بررسی این موضوع پرداخته است. تحلیل کیفی داده ها نشان داد که روش بحث گروهی در پرورش و تربیت ارزیابان موثر بود به گونه ای که این افراد قادر بودند راحتتر، سریعتر و با اعتماد بیشتری به ارزیابی بپردازند. علاوه بر این، استفاده از این روش باعث بهبود فهم و به کارگیری معیارهای ارزیابی توسط ارزیابان شد و به آنها در تصمیم گیری منطقی تر کمک کرد. تحلیل راش چند وجهی نیزحاکی از تاثیر مثبت روش بحث گروهی بر عملکرد ارزبایان از نظر سخت گیری، ثبات در نمره دهی و استفاده از سطوح مختلف مقیاس نمره دهی داشت. یافته ها بینش ما را نسبت به پتانسیل بحث گروهی به عنوان ابزار پرورش ارزیاب خصوصا در بافتهای آموزش زبان به عنوان زبان خارجی که دسترسی به ارزیابان متخصص مانعی بر سر راه برگزاری دوره های تربیت ارزیاب است افزایش می دهد. اینکه نوع مقیاس نمره دهی چه تاثیری بر عملکرد روش بحث گروهی دارد می تواند موضوع پژوهشهای آینده باشد.