تعیین نمره برش آزمون های ملاک مرجع با استفاده از روش های برآورد ناپارامتری شاخص یودن مورد مطالعه: آزمون تولیمو

شاخص یودن یک معیار متداول برای منحنی ویژگی عملکرد (roc) است که هم کارایی یک آزمون ملاک‌مرجع را می‌سنجد و هم مقدار نمره برش را برای آزمون مشخص می‌کند. این پژوهش با هدف مقایسه و ارزیابی سه روش برآورد ناپارامتری تجربی، هسته با روش پهنای باند سیلورمن و هسته با روش پهنای باند اعتبارسنجی متقابل ماکسیمم درستنمایی برای محاسبه مقدار شاخص یودن انجام شده است. در این پژوهش برای ارزیابی عملکرد از شاخص‌های خطای استاندارد بوت استرپ (bse)، ریشه میانگین مربعات خطا (rmse)، مربع خطای یکپارچه (ise) و میانگین مربعات خطای یکپارچه (mise)استفاده شده است. نتایج نشان می‌دهد که روش هسته با اعتبارسنجی متقابل ماکسیمم درستنمایی دارای مقدار شاخص یودن بالاتری بود. نمرات برش به دست آمده برای روش‌های هسته 479 و برای روش تجربی 465 به دست آمد. با توجه به نتایج قابل قبول شاخص‌های ارزیابی، روش‌های هسته به‌ویژه با پهنای باند بهینه اعتبارسنجی متقابل ماکسیمم درستنمایی منجر به برآوردهای قابل اعتمادتری از شاخص یودن و نمره برش برای آزمون تولیمو می‌شود.

determining the cut-off score of criterion-referenced tests using non-parametric estimation methods of the youden index

the youden index is a commonly used summary measure for the receiver operator characteristic (roc) curve that both measures the performance of a criterion-referenced test and specifies the cutoff score value for the test. this research aims to compare and evaluate three empirical non-parametric estimation methods, kernel with silverman’s bandwidth method and kernel with maximum likelihood cross-validation bandwidth method to calculate the value of youden’s index. in this research, bootstrap standard error (bse), root mean square error (rmse), square integrated error (ise) and mean square integrated error (mise) indices were used to evaluate the performance. the results show that the kernel method with maximum likelihood cross-validation had a higher youden index value. the obtained cutoff scores were 479 for the kernel methods and 465 for the empirical method. according to the acceptable results of the evaluation indices, kernel methods especially with the optimal bandwidth of the maximum likelihood cross-validation lead to more reliable estimates of the youden index and the cutoff score in tolimo test results.