کاربرد مدل های چند ارزشیirt در نمره گذاری آزمون های سرنوشت ساز (مورد مطالعه: آزمون پروانه وکالت)

هدف: هدف مطالعه حاضر، مقایسه میزان دقت و خطای اندازه گیری مدل های دوارزشی و چند ارزشیirt در نمره گذاری آزمون های توانایی سرنوشت‌ساز بود.روش پژوهش: جامعه پژوهش شامل تمامی شرکت کنندگان آزمون سراسری پروانه وکالت سال های 1396 و 1398 بوده که از میان آن ها تعداد 5000 نفر از سال 1396 و تعداد 5000 نفر از سال 1398 با روش نمونه گیری تصادفی ساده انتخاب شدند. همچنین، گردآوری داده ها با استفاده از پاسخ های شرکت کنندگان آزمون انجام یافت. متغیر مستقل این پژوهش، شیوه و مدل نمره گذاری و متغیر وابسته، میزان برازش و آگاهی (دقت) مدل محسوب می شود. بر این اساس، روش پژوهش آزمایشی است.یافته‌ها: تجزیه و تحلیل یافته ها نشان داد که از میان مدل های لجستیک دوارزشی irt، مدل 3 پارامتری، و از میان مدل های چندارزشی اسمی مورد مطالعه نیز، مدل 3 پارامتری در مقایسه با سایر مدل ها، برازش و نیز آگاهی دهندگی بیشتر و مطلوب تری بر روی داده های مورد مطالعه داشتند.نتیجه‌گیری: با توجه به برازش و میزان آگاهی مطلوب تر مدل 3 پارامتری دو ارزشی و مدل 3 پارامتری چندارزشی در مقایسه با سایر مدل ها، استفاده از این مدل ها در نمره گذاری می تواند به افزایش دقت اندازه گیری و کاهش خطا، و  نیز به منصفانه بودن فرآیند گزینش متقاضیان آزمون پروانه وکالت کمک نماید.

the application of irt polytomous models in scoring high-stakes tests (case of study: lawyer’s license test)

objective: the aim of this study was to compare the accuracy and measurement error of dichotomous and polytomous irt models in scoring high-stakes, large-scale ability tests.methods: the statistical population of this study was included all the participants of the lawyer’s license external tests in 2016 and 2018, from which 5000 persons and 5000 persons respectively were selected by random sampling. in addition, data collection was done using the responses of the participants of the above exam. accordingly, the research method is experimental.results: the analysis of the findings showed that among the dichotomous irt logistic models, the 3-parameter model, and among the nominal polytomous models studied, the 3-parameter model are a better fits and information compared with other models on the data under study.conclusion: considering the more favorable fit and the level of information of the 3-parameter dichotomous model and the 3-parameter polytomous model compared with other models, the use of these models in scoring can increase the accuracy of measurement and reduce the error. in addition, the use of these models also helps the fairness of the selection process of the applicants for the lawyer’s license exam.