item-focused trees approach in differential item functioning (dif) analysis: a case study of an efl reading comprehension test

Recent years have witnessed an increasing interest in providing new insights into modern language testing method targeting test bias. in this study, item-focused trees (ift) approach was applied to identify uniform and non-uniform differential item functioning (dif) of an english as a foreign language (efl) reading comprehension test. the multistage cluster sampling method was employed to randomly choose a large sample of 4937 students who took the entrance exam of ma program in english studies. the reading comprehension section of the general english test including 20 items was selected for the ift analysis. three categorical and continuous dif source variables including gender and academic background were concomitantly taken into account for the ift analysis, which is capable of handling more than one variable with both binary and continuous measurement. then, in the final stage of ift analysis within a logistic regression framework, uniform and nonuniform dif was analyzed using dif tree package of r. the results showed that 10 items had uniform dif in which 2 items had 2 joint dif predictor variables (2 splits) and 8 items had only one split. additionally, 6 splits and 5 non-uniform dif items were found in non-uniform dif analysis in which only 1 item had 2 simultaneous dif source variables. furthermore, gender and background knowledge had significant relationships with efl reading comprehension. this study promises practical implications for addressing gender and background knowledge differences in efl reading comprehension studies on the one hand, and impacting language testing methodology on the other.

رویکرد درختهای متمرکز بر سوال در تحلیل کنش افتراقی سؤال (DIF): مطالعه موردی یک آزمون خواندن EFL

سالهای اخیر شاهد علاقه روز افزون در ارائه بینشهای نوین در روشهای مدرن آزمودن زبان با هدف گیری سوگیری آزمون بوده است. مطالعه حاضر جهت آشکارسازی کنش افتراقی سؤال(DIF) هماهنگ و ناهماهنگ یک آزمون خواندن درک مطالب EFL، رویکرد درختهای متمرکز بر سؤال (IFT) را بکار گرفت. نمونه بزرگی شامل 4937 آزمودنی از کنکور سراسری کارشناسی ارشد رشته های زبان انگلیسی با استفاده از روش نمونه گیری خوشه ای چند مرحله ای به صورت تصادفی انتخاب شدند. قسمت درک مطلب خواندن آزمون زبان انگلیسی عمومی شامل 20 سؤال جهت تحلیل IFT انتخاب شد. 3 متغیر مقوله ای و پیوسته منبع DIF شامل جنسیت، دانش زمینه ای دانشجویان شامل رشته تحصیلی و نمره معدل تحصیلی مقطع کارشناسی بطور همزمان جهت تحلیل IFT، که قابلیت بررسی همزمان بیش از یک متغیر با مقیاس اندازه گیری دو وجهی و پیوسته را دارد، مد نظر قرار گرفت. سپس در مرحله نهایی تحلیل IFT تحت چارچوب رگرسیون لوجستیک، DIF هماهنگ و ناهماهنگ از طریق بسته DIFtree نرم افزار R مورد تحلیل قرار گرفت. یافته ها نشان داد که 10 سؤال دارای DIF هماهنگ است که از میان آنها 2 سؤال دارای 2 متغیر پیش بین DIF همزمان (2 انشعاب) هستند و 8 سؤال فقط دارای یک انشعاب هستند. بعلاوه، در تحلیل DIF ناهماهنگ، تعداد کل 6 انشعاب و 5 سؤال دارای DIF ناهماهنگ بودند که تنها 1 سؤال دارای 2 متغیر پیش بین DIF همزمان در بخش درک مطلب خواندن بودند. بالاخره، در راستای مطالعات پیشین، جنسیت و دانش زمینه ای روابط مستقیم و غیر مستقیم معنی داری با خواندن درک مطلب EFL داشتند. مطالعه حاضر از یک طرف دارای دلالت های ضمنی آشکاری برای تفاوت های جنسیی و دانش زمینه ای دانش آموزان در مطالعات درک مطلب خواندن EFL است و از طرف دیگر این مطالعه کاربرد مشخصی در روش شناسی آزمودن زبان دارد.