does field of study matter in academic performance: differential item functioning analysis of a high-stakes test using one-parameter and two-parameter item response theory models

To ensure test fairness and validity in high-stakes tests, in the absence of sufficient evidence for identifying various sources of differential item functioning (dif), the present study examined the effect of field of study on the reading section of the english subtest of iranian university entrance examination (iuee)for ma in english majors. 1-parameter and 2-parameter logistic item response theory (irt) models were employed to investigate dif for a sample of 3588 applicants sitting for the test in 2017. for data analysis, the difr package developed by magis, beland, tuerlinckx, and de boeck (2010) was utilized. the 1-parameter dif analysis results indicated that out of the 20 items of the reading section, only three items showed dif toward the examinees based on their field of study. however, 2-parameter dif analysis results demonstrated that all items of the reading section presented dif toward the examinees. furthermore, the least discrimination toward the non-english group was observed in the findings of the 2-p irt model. hence, the 2-p irt model was found more accurate than the 1-p irt model as it could identify more dif items, and the reading comprehension subtest of iuee was biased toward examinees from different fields of study. based on the results, to identify and remove various sources of potential dif existing in the tests and produce test items which are void of any bias in terms of academic background, the use of irt models is required; although their level of precision varies.

آیا رشته تحصیلی در عملکرد تحصیلی موثر است: تحلیل کنش افتراقی سوال در یکی از آزمون‌های سازمان سنجش آموزش کشور با استفاده از مدلهای یکپارامتری و دوپارامتری نظریه سوال پاسخ

به ­منظور اطمینان از عدالت و روایی آزمون در آزمون­های سرنوشت­ساز و در نبود ادله کافی برای شناسایی دلایل مختلف کنش افتراقی سوال، مطالعه حاضر به بررسی تاثیر رشته­ تحصیلی در قسمت درک­­ مطلب درس زبان عمومی یکی از آزمون­های کنکور سراسری کارشناسی ­ارشد رشته­های زبان انگلیسی می­پردازد. برای بررسی کنش افتراقی سوال بر روی ۳۵۸۸ آزمودنی شرکت ‌‌­­کننده در این آزمون در سال ۱۳۹۵، از مدل­های یک­پارامتری و دو­پارامتری نظریه سوال پاسخ استفاده ­شده­ است. برای تحلیل داد­­ه­ها، از بسته دیف­آر که توسط ماگیس، بلاند، تورلینکس، و دی­بووک (۲۰۱۰) طراحی ­شده، استفاده ­شد. نتایج مربوط به تحلیل یک ­پارامتری نشان ­داد که از میان ۲۰ سوال درک مطلب، تنها سه سوال دارای کنش افتراقی برحسب رشته ­تحصیلی متقاضیان بوده­اند. درحالیکه، نتایج تحلیل دو­پارامتری نشان ­داد که همه سوال­های درک ­مطلب دارای کنش افتراقی بوده­اند. علاوه ­براین، نتایج مدل دو­پارامتری کمترین تمایز را برای گروه غیرانگلیسی نشان­ داد. بنابراین، به دلیل توانایی در شناسایی تعداد بیشتر سوال­هایی با کنش افتراقی سوال، مدل­ دو­پارامتری نظریه سوال پاسخ از مدل یک­پارامتری نظریه سوال پاسخ دقیق تر بوده است، همچنین قسمت درک­­ مطلب درس زبان عمومی آزمون­ کنکور سراسری کارشناسی­ ارشد رشته­های زبان انگلیسی، نسبت به­ شرکت ­کنندگان از رشته­های تحصیلی مختلف سوگیری داشته ­است. براساس این نتایج، به منظور شناسایی و حذف منابع مختلف کنش افتراقی سوال محتمل در آزمون­ها و به منظور طرح سوال­های آزمون که عاری از هرگونه سوگیری مرتبط با رشته تحصیلی باشد، استفاده از مدل­های نظریه سوال پاسخ ضروری است، اگرچه که میزان دقت هر کدام از آن­ها متفاوت است.