examining the fairness of the university entrance exam: a latent class analysis approach to differential item functioning

Measurement has been ubiquitous in all areas of education for at least a century. various methods have been suggested to examine the fairness of education tests especially in high stakes contexts. the present study has adopted the newly proposed ecological approach to differential item functioning (dif) to investigate the fairness of the iranian nationwide university entrance exam. to this end, the actual data from an administration of the test were obtained and analyzed through both traditional logistic regression and latent class analysis (lca) techniques. the initial dif analysis through logistic regression revealed that 19 items (out of 70) showed either uniform or nonuniform dif. further examination of the sample through lca showed that the sample is not homogeneous. lca class enumeration revealed that three classes can be identified in the sample. dif analysis for separate latent classes showed that three serious differences in the number of dif items identified in each latent class ranging from zero items in latent class 3 to 43 items in latent class 2. the inclusion of the covariates in the model also showed that latent class membership could be significantly predicted from high school gpa, field of study, and acceptance quota. it is argued that the fairness of the test might be under question. the implications of the findings for the validity of the test are discussed in detail.

بررسی عدالت در آزمون ورودی دانشگاه‌ها: رویکرد تحلیل طبقه پنهان به کنش افتراقی سوال

سنجش برای حداقل یک قرن در تمام ابعاد آمورش وجود داشته است. روش های متعددی برای بررسی عدالت آزمون آموزشی مخصوصا در آزمون های سرنوشت ساز پیشنهاد شده است. مطالعه حاضر با استفاده از رویکری بوم شناختی به بررسی عدالت آزمون ورودی دانشگاه ها می پردازد. به این منظور، داده های به دست آمده از اجرای واقعی آزمون با روش های رگرسیون لجستیک و تحلیل طبقه پنهان مورد بررسی قرار گرفت. تحلیل کنش افتراقی سوال از طریق رگرسیون لجستیک نشان داد که از بین 70 سوال موجود 19 سوال کنش افتراقی داشتند. بررسی آزمودنی ها با تحلیل طبقه پنهان نشان داد که نمونه موجود همگن نمی باشد. این تحلیل نشان داد که سه طبقه ازآزمودنی ها را می توان استخراج کرد. بررسی کنش افتراقی سوال برای طبقات مختلف نشان داد که تفاوت چشمگیری بین این طبقات در تعداد سوال های با کنش افتراقی وجود دارد. در حالی که هیچ سوالی با کنش افتراقی در طبقه سوم وجود نداشت 43 سوال در طبقه دوم با کنش افتراقی شناسایی شدند. با وارد کردن متغیرهای همپراش در تحلیل که عضویت در طبقه های پنهان از روی معدل دوره‌ی دبیرستان، رشته تحصیلی و سهمیه قبولی قابل پیش بینی است. بر اساس یافته های پژوهش، ادعا می شود که عدالت آزمون می تواند زیر سوال برود. دلالت های این یافته ها برای روایی کلی آزمون مورد بحث قرار می گیرد.