بررسی سوگیری در سوالات درک مطلب آزمون مقطع دکترای رشته زبان انگلیسی تحت سنجش تشخیصی شناختی

در چند دهۀ اخیر، بررسی سطح توانایی در آزمون‌های سرنوشت‌ساز از دیدگاه سنجش تشخیصی شناختی مورد توجه محققان ارزشیابی و سنجش و اندازه‌گیری قرار گرفته است. مدل‌های تشخیصی شناختی میزان تسلط و عدم تسلط آزمودنی‌ها را با ویژگی‌های چندگانه مورد بررسی قرار می‌دهد. بدین منظور، هدف پژوهش حاضر بررسی کنش افتراقی سوال و کنش افتراقی خصیصه در آزمون ورودی زبان عمومی مقطع دکترای زبان انگلیسی است. بنابراین، 3220 آزمودنی دختر و پسر از جامعه آماری شرکت کننده در آزمون سازمان سنجش کشور به‌صورت تصادفی انتخاب شدند. در مدل اکتشافی تحلیل داده‌ها، مراحل کیفی و کمی به‌ترتیب اجرا شد. سپس از ماتریس کیو ساخته شده به‌وسیله پروتکل تفکر با صدای بلند استفاده شد تا داده‌ها با استفاده از بسته آر استودیو تجزیه و تحلیل شوند. مدل جی دینا تحت سنجش تشخیصی شناختی قرار گرفته و نتایج بدست آمده از کنش افتراقی سوال، سوگیری در سوالات را گزارش داده است.

Test Fairness Analysis in Reading Comprehension PhD Nationwide Admission Test Items under CDA

During the past few decades, documentation of test takers’ proficiency level has been accomplished through largescale assessments most importantly Cognitive Diagnostic Assessment (CDA) in order to provide skills mastery profile of test takers in finegrained detailed information. Accordingly, the present study attempts to scrutinize reading comprehension test items of a highstakes test under CDA. To delve into this issue, DAF was used to detect the probability of mastery of attributes among test takers, and DIF was applied to show item performance among different candidates in terms of gender. Thus, the participants of this study were 3220 females and males attending PhD national admission test in Iran. Through adopting sequential exploratory mixed method design, GDINA model was run by the application of Rstudio package. Results of the study revealed that test items suspected DIF against female. In the end, the findings of this study were discussed in light of their implications for language testing community to perceive potential social harm which derived from biased test items in PhD national admission exams.