“others have scored the same as me; do you want to change it”? exploring rater dominance in negotiation rating sessions of efl writing

Rater negotiation is a score-resolution method through which raters review and discuss performance samples to resolve rating discrepancies. the success of this method depends on raters getting equally engaged in negotiations. this study explored whether novice raters remain equally engaged in negotiations or rater dominance occurs. eleven english teachers attended eight negotiation sessions. they scored ten writing samples independently using the ielts rubric and then discussed rating discrepancies in groups. it has employed a mixed-methods approach to see whether any traces of rater dominance are observed or raters are equally engaged in negotiations. the chi-square test results for score changes indicated that only in task response category, raters were inequitably engaged. no dominance was observed for other dimensions. however, qualitative analysis of the negotiations revealed various patterns of rater dominance. furthermore, the analysis of rater interactions in negotiation sessions indicated that rater dominance is a nonlinear construct demonstrated in interactions of raters during negotiation rating sessions. the findings illuminated that while some raters attempted to scaffold each other to form a unified understanding of scoring rubric by sharing the floor in discussion sessions, some tried to dominate other raters. the findings highlight the utility of negotiation, not just as a resolution method but a procedure with training effects for performance assessment in efl contexts where access to expert raters is usually limited.

دیگران مانند من ارزیابی کرده اند؛ آیا نمره ای را که اعلام کرده ای، عوض می کنی؟ مطالعه سلطه مصححین در جلسه ارزیابی و نمره دهی به مقالات نوشتاری به زبان خارجی

تکنیک مذاکره یکی از روش‌های حل اختلاف در نمره‌دهی است که در آن مصححین، در حین تصحیح نوشتارها، بحث و مذاکره می‌کنند و عملکرد نویسندگان را بررسی می‌کنند؛ منتها شرط موفقیت این روش این است که مصححین به یک اندازه در مذاکرات سهیم باشند. این مطالعه به دنبال بررسی این موضوع بود که آیا مصححین تازه‌کار به یک اندازه در مذاکرات سهیم هستند یا این که برخی از مصححین سلطه بیشتری روی عملکرد نمره‌دهی همکاران خود دارند. یازده معلم ایرانی آموزش زبان انگلیسی به عنوان مصحح تازه‌کار در هشت جلسه بحث و تبادل نظر شرکت کردند. آنها ده نمونه‌ی نوشتاری را بر اساس دستورالعمل نمره‌دهی منطبق بر رویکرد آیلتس بررسی کردند. . نتایج حاصل از آزمون کای اسکویر نشان داد که سلطه یکی از مصححین بر عملکرد نمره دهی دیگر همکاران خود، تنها در شاخه task response وجود داشته و در سه شاخه دیگر هیچ اثری از سلطه مصححین یافت نشد. با این حال، تجزیه و تحلیل کیفی مذاکرات الگوهای مختلف سلطه مصححین را نشان داد، اگرچه همه آنها به تغییرات نمره منجر نشد. یافته های مطالعه نشان داد که از طریق مذاکرات پایدار، مصححین تازه کار درک مشترکی از دستورالعمل نمره دهی پیدا کردند.یافته‌های این مطالعه ممکن است نه تنها به عنوان روش حل‌اختلاف در نمره‌دهی بلکه به عنوان روشی برای آموزش مصححین کاربرد داشته باشد. در غیاب متخصصان نمره‌دهی برای آموزش مصححین مبتدی، مذاکره را می‌توان تکنیکی مفید برای بهبود عملکرد نمره‌دهی مصححین دانست