تاثیر منطقه‌بندی بر برآورد پارامتر توانایی و رتبه‌بندی آزمودنی‌ها در آزمون‌های بزرگ مقیاس

این پژوهش با هدف بررسی تاثیر ادغام سهمیه‌بندی در برآورد توانایی (پیش از رتبه بندی) و نیز رتبه‌بندی آزمودنی‌ها در آزمون‌های بزرگ مقیاس (مثل کنکور سراسری) انجام شد. طرح این پژوهش در زمرۀ طرح‌های پیمایشی است. به دلیل این که هدف این پژوهش تحلیل داده‌هایی است که قبلاً طی یک طرح پیشین توسط سازمان سنجش جمع‌آوری شده‌اند، این طرح را می‌توان در زمرۀ تحلیل ثانویه داده‌ها نیز در نظر گرفت. جامعه آماری این طرح شامل تمام داوطلبان گروه ریاضی است که در آزمون سراسری سال 1394-1393 شرکت نموده‌اند. نمونه مورد استفاده در این پژوهش شامل داده‌های مربوط به 3000 آزمودنی گروه ریاضی از مناطق (سهمیه) یک، دو و سه است که از طرف سازمان سنجش در اختیار پژوهشگران قرار گرفته است. داده‌های اصلی مورد استفاده در این پژوهش عبارتست از پاسخ‌های نمره‌گذاری شده آزمودنی‌ها به سوالات آزمون (به صورت 1 برای پاسخ صحیح و 0 برای پاسخ غلط) و کد مربوط به سهمیه انتخابی. به طور خلاصه، می‌توان چنین نتیجه‌گیری کرد که تفاوت بین مناطق سه‌گانه و یا هر نوع خوشه‌بندی در داده‌ها هنگامی در نتایج تاثیر دارد که تحلیل در سطح کل نمونه و ورای خوشه‌ها صورت می‌گیرد. در چنین وضعیتی، امکان مشاهده تفاوت معنادار بین رتبه‌دهی با استفاده از روش‌های متفاوت، حتی زمانی که مقدار icc بسیار پایین باشد (مانند تحلیل حاضر)، وجود دارد.

the effect of geographical clustering on parameter estimation and ranking of individuals in large scale assessments

the aim of this study was to investigate the effect of geographical clustering on the estimation of ability parameter (before ranking) as well as the ranking of examinees in large-scale tests (such as national university entrance examination). the design of this study can be considered as survey and because of analyzing the data previously collected by the national organization educational testing (noet), this project can also be considered as a secondary data analysis. the statistical population of this project includes all the candidates of the mathematics group who have participated in the national exam of 2013-2014. the sample used in this study includes data on 3,000 examinees in the mathematics group from regions (quota) one, two and three, that have been provided to researchers by the noet. the main data used in this study are the examinees’ scored responses to test items (1 for a correct answer and 0 for an incorrect answer) and the code related to the selected quota. in summary, it can be concluded that differences between the three regions, or any type of clustering, is considerable when the level of analysis is the overall sample and beyond clusters. in such a situation, it is possible to observe a significant difference between rankings using different methods, even when the value of intra-class correlation (icc) is very low (like this study).