severity differences across proficiency levels among peer-assessors

Over the past few years, peer-assessment, as an alternative assessment procedure, has drawn the attention of many researchers. in the study, it was attempted to find what kinds of language components peer-assessors attend to when rating their peers' essays and to investigate whether proficiency levels of peer-assessors make a difference in terms of severity and leniency they exercise. fifty-eight student raters at imam khomeini international university in qazvin rated five essays, using an analytic rating scale. paper-based test of english as a foreign language (toefl) and five-paragraph essays were used to collect the data. facets (version 3.68.1) was used to analyze the data. the results of facets analysis indicated that advanced peer-assessors had more variability in their severity compared to intermediate peer-assessors. moreover, the majority of peer-assessors were, on average, more severe than lenient. the results also revealed no statistically significant difference between the ratings of intermediate and advanced peer-assessors. the final finding was that task achievement was the most attended assessment criterion, but grammatical range and accuracy was the least attended assessment criterion. the findings suggest peer-assessors do not attach an equal weight to all assessment criteria. the findings of the study may carry implications for the summative assessment of students' abilities.

تفاوت های سختگیری در سطوح مختلف در میان ارزیابان هم سطح

در طول چند سال گذشته، ارزیابان هم سطح، به عنوان یک پروسه ی جایگزین ارزیابی، توجه بسیاری از محققان را به خود جلب کرده است. در این مطالعه تلاش شده است تا مشخص شود که ارزیابان هم سطح به چه نوع اجزایی در زبان در هنگام بررسی مقاله های هم گروهی های خود دقت می کنند و همچنین اینکه سطح معلومات ارزیابان هم سطح در سختگیری و آسانگیری آنها تفاوتی ایجاد می کند یاخیر. پنجاه و هشت دانشجو در دانشگاه بین المللی امام خمینی قزوین پنج مقیاس را با استفاده از مقیاس رتبه بندی تحلیلی ارزیابی کردند. آزمون تافل مبتنی بر کاغذ و مقالات پنج پاراگراف برای جمع آوری داده ها استفاده شد.FACETS (نسخه ۳.۶۸.۱) و SPSS (نسخه ۲۴) برای تحلیل داده ها مورد استفاده قرار گرفت. نتایج حاصل از تجزیه و تحلیل داده ها نشان داد که ارزیابی کنندگان با سطح پیشرفته در سختگیری نسبت به ارزیابی کنندگان با سطح متوسط تنوع بیشتری دارند. علاوه بر این، اکثر ارزیابی کنندگان با سطح پیشرفته سختگیرتر بودند. همچنین نتایج نشان داد که بین نمرات ارزیابان هم سطح پیشرفته و متوسط هیچ تفاوت آماری معناداری وجود ندارد و ارزیابان هم سطح ارزش یکسانی برای همه معیارهای ارزیابی قائل نیستند. یافته های نهایی این بود که دستاورد کار معیار مهمی برای ارزیابان بود و دقت گرامری حداقل معیار مهم برای آنان بود. یافته ها ممکن است برای ارزیابی کلی از توانایی های دانش آموزان مفید واقع شوند.