نقش تخطی از تک بعدی بودن آزمون در خطاهای همترازسازی مدل های نظریه سوال پاسخ و کلاسیک

شناسایی عواقب تخطی از مفروضه‌های مدل ‌های اندازه‌گیری از دغدغه‌های اصلی در حوزه روانسنجی است، هدف پژوهش حاضر، مطالعه نقش نقض مفروضه تک بعدی بودن در خطای همترازسازی در نظریه کلاسیک و نظریه سوال پاسخ بود. روش پژوهش آزمایشی و طرح آن طرح عاملی 3×3 بود. جامعه آماری شامل کلیه داوطلبان گروه ریاضی و فیزیک کنکور سراسری سال‌های 1396 و 1397 بود. گروه نمونه عبارت از 5000 نفر از داوطلبان بود که به شیوه نمونه‌گیری تصادفی انتخاب شدند. آزمون مورد همترازسازی آزمون ریاضی (55 سوالی) کنکور سراسری بود که با استفاده از آن سه نوع داده 20 سوالی با ساختار متفاوت تک بعدی، دو بعدی و سه‌بعدی تشکیل شد. داده‌ها با استفاده از سه روش همصدک، نمره واقعی و نمره مشاهده شده همتراز شدند. برای ارزیابی اثرات بعدیت و روش‌های همترازسازی از آماره‌های خطای استاندارد همترازسازی، سوگیری و خطای جذر میانگین مربعات استفاده شد و برای تعیین آماره‌های خطا، نتایج همترازسازی در هر سه مجموعه داده و سه روش همترازسازی در نمونه‎های مختلف 20 بار تکرار شد. نتایج تجزیه و تحلیل داده‌ها نشان داد که تخطی از بعدیت، خطای استاندارد همترازسازی، سوگیری نتایج همترازسازی و میزان خطای جذر میانگین مربعات را افزایش می‌دهد. سوگیری نتایج همترازسازی در روش‌های نظریه کلاسیک بیشتر از روش‌های نظریه سوال پاسخ است و تاثیر تخطی از بعدیت در خطاهای همترازسازی در مدل‌های نظریه کلاسیک و نظریه سوال پاسخ تفاوتی نداشت.

the role of test dimensionality violation in equating errors of irt and classical theory models

a critical aspect of the field of measurement and assessment is identifying the consequences of any violations of the assumptions inherent in measurement models. understanding these implications is important for ensuring the validity and reliability of assessment measures being used. the primary objective of the current study was to investigate the impact of test dimensionality violations on equating errors in both item response theory (irt) and classical theory models. the research design employed in the study was experimental, utilizing a 3 × 3 factorial design to uncover the effects of various conditions. the study's population encompassed all mathematical and technical sciences entrance examiners from 2017 and 2018. to ensure a representative sample, 5000 examiners were randomly selected and included in the study group. a mathematics test consisting of 55 items was utilized for equating purposes. through this test, three distinct data structures were generated, namely one-dimensional, two-dimensional, and three-dimensional data. data was equated using a combination of three methods: the equipercentile method, true score equating method, and observed score equating technique. utilizing metrics such as equating standard errors, bias, and root mean square error, the impact of independent variables was assessed and evaluated. data analysis revealed that the violation of dimensionality has a significant effect on equating standard error, biasing equating results, and also increases root-mean-square error. to quantify the extent of this effect, the equating results were repeated 100 times in different samples for all three datasets and three equating methods. the findings indicate that violating dimensionality has a similar impact on equating errors, regardless of the equating method being employed. moreover, there is no appreciable difference in the effect on equating errors between classical theory and irt models.