investigating gender and major dif in the iranian national university entrance exam using multiple- indicators multiple-causes structural equation modelling

The generalizability aspect of construct validity, as proposed by messick (1989), requires that a test measure the same trait across different samples from the same population. differential item functioning (dif) analysis is a key component in the fairness evaluation of educational tests. the university entrance exam for master of english programs (hereinafter referred to as meuee) at iranian state universities is a very high-stakes test whose fairness is a promising line of research. the current study explored gender and major dif in the general english (ge) section of the meuee using multiple-indicators multiple-causes (mimic) structural equation modeling. the data of all the test takers (n = 21,642) who took the ge section of the meuee in 2012 were analyzed with mplus. to determine whether an item is flagged for dif, both practical and statistical significance were considered. the results indicated that 12 items were flagged for dif in terms of statistical significance. however, only 5 items showed practical significance. the items flagged for dif alert test developers and users to potential sources of construct-irrelevant variance in the test scores that may call into question comparison of the test-takers’ performances, especially when the tests are used for selection purposes.

بررسی تاثیر جنسیت ورشته تحصیلی بر روی عملکرد متفاوت سوالات عمومی کنکور کارشناسی ارشد زبان انگلیسی با استفاده از مدلسازی معادله ساختاری

عملکرد مختلف سوالات یکی از مسائل کلیدی در ارزیابی عدالت و پایایی آزمون‌ها است. کنکور کارشناسی ارشد زبان انگلیسی در ایران یکی از آزمون های سرنوشت ساز محسوب می‌شود. از این رو عدالت در این آزمون بین گروه‌های مختلف شرکت کننده از اهمیت ویژه‌ای برخوردار است. از آنجایی که این مهم تاکنون در ارزیابی آزمون زبان انگلیسی کارشناسی ارشد در ایران بررسی نشده، پژوهش پیش ‌رو سعی در مطالعه تاثیر جنسیت و رشته تحصیلی بر روی عملکرد متفاوت سوالات عمومی این آزمون با استفاده از روش مدلسازی معادله ساختاری دارد. به این منظور، پاسخنامه 21،642 شرکت کننده در آزمون سراسری سال 1391 با استفاده از نرم‌افزار ام پلاس (Mplus) تحلیل شده است. نتایج آماری تحلیل نشان داد 12 سوال در آزمون عملکردی متفاوت در بین گروه‌های مختلف شرکت کننده دارد. در مجموع 50 درصد از سوالات بخش گرامر، 15 درصد از سوالات بخش واژگان و 20 درصد از سوالات بخش درک مطب عملکرد متفاوتی را نشان دادند. اگرچه از این تعداد فقط 5 سوال عملا عملکردی متفاوت داشته‌اند. نتایج بدست آمده از این پژوهش طراحان سوالات کنکور را از وجود سوالات با عملکرد متفاوت برای گروه‌های مختلف شرکت کننده با توانایی یکسان آگاه می‌سازد. از آنجایی که شرکت و طرح این آزمون سرنوشت ‌ساز هزینه های مادی و معنوی زیادی برای افراد در پی دارد، نیازمند این است که طراحان سوال دقت و تلاش بیشتری در جهت بهبود کیفیت آزمون‌های مشابه آتی داشته باشند.