rater-mediated assessment of iranian undergraduate students’ college essays: many-facet rasch modelling

In rater-mediated assessments, the ratings awarded to language learners’ written, or spoken, performances do not necessarily reflect their language abilities because a number of other construct-irrelevant factors may affect the knowledge they demonstrate. rater subjectivity and rating scales are among the variables possibly influencing the final results. the purpose of the present study was to examine the extent to which university students’ ratings on their essays mirrored the effect of these two factors. to that end, 150 iranian efl teachers rated ten five-paragraph essays ba students had written as their course requirements at imam khomeini international university. the raters used two rating scales to rate the essays on a number of assessment criteria. the study rested on a partial rating design, and the rasch-based computer program, facets, was used to analyze the data. results of facets analyses showed raters differed considerably in the amounts of severity they exercised when rating the essays. the results also showed rater bias interactions with holistic rating scales. the implications of the findings for proposing procedures for reducing the effects of such extraneous variables are discussed.

استفاده از انگاره ی چند وجهی راش جهت بررسی مقالات دانشجویان کارشناسی زبان انگلیسی در آزمون های مصحح محور

در آزمون­های مصحح­محور، نمراتی که به عملکرد کتبی و یا شفاهی زبان­آموزان داده می­شود لزوما منعکس کننده توانایی زبانی آنها نیست بخاطر اینکه عوامل دیگری می تواند نتایج نهایی توانایی زبان­آموزان را تحت تأثیر قرار بدهد. سلیقه­ای عمل کردن مصحح­ها و مقیاس­های نمره دهی از عوامل تأثیر گذار بر توانایی زبان­آموزان است. هدف از مطالعه حاضر نیز بررسی این عوامل در در نمراتی است که به مقالات ­آنها داده می­شود. به­همین منظور، از 150 مصصح ایرانی خواسته شد تا ده مقاله­ای را که دانشجویان در درس «مقاله­نویسی» در مقطع کارشناسی نوشته بودند با استفاده از مقیاس­های نمره­دهی و معیارهای ارزشیابی مورد بررسی قرار بدهند. داده­ها با استفاده از نرم افزار فاستس مورد تحلیل قرار گرفت و نتایج تحلیل داده­ها نشان داد که مصححان درجات مختلفی از سختگیری را در هنگام نمره­دهی اعمال می­کردند. نتایج مطالعه همچنین حاکی از این بود که مصححان نسبت به مقیاس اندازه­گیری کلی­نگر سوگیری نشان دادند. کاربردهای آموزشی نتایج مطالعه در جهت کاهش سوگیری مصححان نسبت به مقیاس­های نمره­دهی و معیارهای ارزشیابی جهت بهبود نمرات مورد بررسی قرار می­گیرد.