شناسایی رویکرد بهینه همترازسازی در آزمون‌های چندبعدی

همترازسازی از مهم‌ترین مسائل در نظام سنجش تربیتی است و عدم برقراری مفروضات آن، اندازه‌گیری را با چالش‌های جدی مواجه می‌کند. در آزمون‌های چندبعدی، استفاده از روش‌های تک‌بعدی همترازسازی، سوگیری نتایج را به دنبال دارد. هدف از اجرای این پژوهش، شناسایی رویکرد بهینه همترازسازی در آزمون‌های چندبعدی بود. شش روش همترازسازی تک‌بعدی و چندبعدی مقایسه شدند. روش همصدک به لحاظ مقاوم بودن در برابر مفروضه تک‌بعدی بودن به‌عنوان ملاکی برای مقایسه سایر روش‌ها مدنظر قرار گرفت. جامعه آماری شامل همه داوطلبان گروه علوم ریاضی و فنی کنکور سراسری سال 96 و 97 بود. داده‎های آزمون ریاضی تعداد 5000 نفر از هر دو سال برای همترازسازی انتخاب شدند. ابعاد آزمون‌ها با استفاده از نرم‌افزارهای mplus وnoharm  مشخص شد. برای برآورد پارامترهای تک‌بعدی از بستهltm  و برای برآورد پارامترهای چندبعدی از بسته mirt در نرم‌افزار r استفاده شد. همترازسازی نمره مشاهده شده و نمره واقعی تک‌بعدی irt با استفاده از نرم‌افزار pie و همترازسازی همصدک با استفاده از نرم‌افزار r بسته equate انجام گرفت. از بسته‌های mirt، mvnorm و mass در نرم‌افزار r نیز برای همترازسازی چندبعدی داده‌ها استفاده شد. نتایج نشان داد که در همترازسازی آزمون‌های چندبعدی بهینه‌ترین روش، همترازسازی چندبعدی کامل است و پس از آن روش نمره مشاهده شده چندبعدیِ تک‌بعدی شده، روش‎ مناسبی است، اما استفاده از روش‌های تک‌بعدی نمره مشاهده شده و نمره واقعی در چنین شرایطی، کارایی مناسبی ندارد. بنابراین پیشنهاد می‌شود در همترازسازی آزمون‌هایی که ساختار چندبعدی دارند، از روش همترازسازی نمره مشاهده شده چندبعدی کامل استفاده شود.

Identification of Optimal Equating Method in Multidimensional Tests

Equating is one of the most important issues in educational measurement, violation of the assumptions of which results in serious challenges in it. In multidimensional tests, the use of unidimensional equating methods causes bias in results. Therefore, the purpose of this study was to identify the optimal equating methods in multidimensional tests. Six equating methods consisting of unidimensional and multidimensional methods was compared with each other. The equipercentile method was considered as the criterion for comparing the other methods in terms of being robust against the unidimensionality assumption. The statistical population consisted of all the candidates in Mathematics’ entrance exam in the years 2017 and 2018. Mathematics’ exam data of 5,000 people from both years were selected for equating. Test dimensions were determined using NOHARM and MPLUS software, the ltm package was used to estimate the unidimensional parameters and the mirt package in the R software was used to estimate the multidimensional parameters. IRT unidimensional observed score and true score equating conduct with PIE program and equipercentile equating was performed using R equate package. The mirt, mvnorm, and MASS packages in R software were also used for multidimensional equating.  The results showed that the most optimal method for multidimensional tests equating was FULL MIRT observed score equating,and then the unidimensionalized MIRT observed score equating is the appropriate method and that using unidimensional methods of the observed score and true score are not efficient in such conditions. Therefore, it is recommended that FULL MIRT observed score methods are used in equating tests with multidimensional structure.