iranian efl raters’ cognitive processes in rating ielts speaking tasks: the effect of expertise

Variations in rating the efl learners’ oral performance are often attributed to the variations in the raters’ cognitive processes. han’s (2016) 4-stage processing model was used to examine what cognitive processes expert and novice raters follow to rate a recorded response to the ielts speaking task two by using the ielts rubrics. novice and expert raters attended the 4-phase verbal protocol sessions in order to explore the cognitive processes underlying (a) their representations of ielts speaking rubric, (b) qualitative assessment of a recorded sample response to ielts speaking task two, (c) quantitative assignment of ratings to the input and (d) revision of the assigned ratings. qualitative data collection was followed by transcribing, segmenting, encoding, and analyzing the contents of the recorded verbal protocol reports. after content analysis, the four categories of (1) grammatical range and accuracy, (2) fluency and coherence, (3) lexical resources, and (4) pronunciation in ielts speaking rubric were schemed into 80 themes. nvivo 8 and spss 19 were used to analyze the data qualitatively and quantitatively, respectively. both qualitative and statistical findings showed that the l2 raters with a different range of expertise widely focus on different aspects of the spoken response input, have different interpretations, and apply different criteria when judging the verbal input. the findings of the present study may carry implications for rater training and validity of ratings. expertise, as the findings of the study show, can exert an influence on the reliability of the ratings.

فرایند های شناختی ارزیاب های ایرانی در ارزیابی فعالیت های گفتاری آیلتس: تاپیر تخصص

ارزیابهای زبان دوم افرادی هستند که معمولا مرتکب اعمال الگوهای مغرضانه و متناقض در سنجش می گردند که به انها "اثر ارزیاب" یا خطاهای اندازه گیری می گوییم. این تحقیق به منظور یافتن تناقض های موجود در ارزیابی ارزیابهای مجرب و مبتدی و دربازنمود شناختی معیارهای ارزیابی آنها در سنجش آزمون IELTS انجام گردید. به این منظور، و در جهت دنبال کردن مدل شناختی هان (2016)، ارزیاب های مجرب و مبتدی IELTS به روش هدفمند انتخاب و در چهار فاز پروتکل کلامی به منظور رمزگشایی از بازنویسی شناختی آنها به شرح ذیل شرکت جستند. جمع آوری داده ها به کمک نرم افزارNVivo 8 و SPSSشامل رونویسی کردن به حروف آوایی، تقسیم بندی، رمز گشایی و تحلیل محتوایی گزارشهای پروتکل کلامی از شرکت کنندگان در فاز 1 پروتکلهای کلامی – فاز دریافت مفهومی از روبریک IELTS در فاز 2 پروتکلهای کلامی – فاز نمره دهی کیفی به نمونه جواب شفاهی به فعالیت 2 در مصاحبه IELTS در فاز 3 پروتکلهای کلامی – فاز نمره دهی کمی به نمونه جواب شفاهی به فعالیت 2 در مصاحبه IELTSو در فاز 4 پروتکلهای کلامی – فاز ویرایش یا نهایی کردن نمرات–بود. نتایج تحقیق نشان داد که که ارزیابهای مجرب و مبتدی در میزان توجه به شاخص های ارزشیابی تفاوتهای معنا داری در هر یک از 4 فاز پروتکلهای کلامی هان دارند. نتایج این تحقیق بر تاثیر تجربه در عملکرد و نگرش ارزیابها به پاسخ شفاهی زبان آموزان تاکید کرده و خاطر نشان میکند که ارزیابهای مجرب و مبتدی تفسیر های گوناگون و قضاوت های متفاوتی را در ارزیابی کیفی و کمی داده های زبانی خواهند داشت.