مدل راش چند وجهی در آزمون‌های عملی: مورد مطالعه آزمون سُرایش

هدف: هدف از اجرای این پژوهش، تحلیل داده‌های حاصل از آزمون‌های عملی سازمان سنجش با استفاده از مدل راش چندوجهی و مقایسه آن با نتایج حاصل از تحلیل‌های کلاسیک است.روش پژوهش: روش پژوهش کمی و از نوع توصیفی-تحلیلی است. مشارکت کنندگان شامل تمامی داوطلبان رشته آهنگسازی حاضر در آزمون عملی سُرایش بودند. داده مورد تحلیل از فرم‌های ارزیابی پر شده توسط چهار ارزیاب برای هر داوطلب بدست آمده است.یافته‌ها: یافته نشان می‌دهد اگر چه ضریب همبستگی میان ارزیاب‌ها بالا بوده (بیش از 0.90)، توافق ارزیاب‌ها براساس ضریب کاپا، در حد متوسط است. همچنین براساس نتایج راش چند وجهی، پارامتر سخت‌گیری ارزیاب‌ها در حد متوسط بوده است.نتیجه‌گیری: تمایز بین ضریب همبستگی و کاپا، نشان می‌دهد که نمی‌توان از هر یک از این شاخص‌ها به تنهایی برای تحلیل ارزیاب استفاده کرد، همچنین این ضرایب، وضعیت گروهی ارزیاب‌ها را نشان می‌دهند در حالی که راش چند وجهی وضعیت هر یک از ارزیاب‌ها را نشان می‌دهد. نتایج راش چند وجهی نشان داد که ارزیاب‌ها دچار سوگیری به صورت سخت‌گیری یا سهل‌گیری نبوده اند.

multi-faceted rasch model in practical tests: study subject: sorayesh test

objective: the purpose of this research is to analyze the data obtained from the practical tests conducted by national organization of educational testing, using the multi-faceted rasch model and comparing it with the results of classical analysis methods.methods: the research method is quantitative a type of descriptive-analysis method. the participants included all the songwriting candidates taking the sorayesh practical test. the analyzed data has been obtained from the evaluation forms filled out by four evaluators for each candidate.results: the findings show that although the correlation coefficient among raters was high (more than 0/90), the agreement of the raters in terms of the kappa coefficient was average. furthermore, based on the multi-faceted rasch model, the raters strictness parameter was moderate.conclusion: the difference between the correlation and the kappa coefficient shows that only one of these two indicators cannot be used to analyze the evaluator.also, these coeficients mainly inducate the group status of the raters while the multi-faceted rasch model shows the performance of each participant individually. the results of the multi-faceted rasch model indicated that the raters were not biased in the form of being strict or lenient.