کاربرد مدل راش (روش نقشه سوال) در تعیین استاندارد و نمره برش آزمون پیش کارورزی علوم پزشکی

مقدمه: یکی از بحث ‌برانگیزترین موضوعات در اندازه گیری های تربیتی تعیین نمره برش در هنگام ساخت و اجرای آزمون ها است. هدف این پژوهش تعیین نمره برش آزمون ملاک مرجع پیش کارورزی علوم پزشکی با استفاده از مدل راش (روش نقشه سوال) بود .روش ها: پژوهش حاضر از نوع پژوهش های توصیفی مقطعی بود که برای این منظور، از 13 عضو هیات علمی دانشگاه علوم پزشکی دانشگاه تهران، به عنوان اعضای هیئت داوران دعوت به عمل آمد. ابزار این پژوهش، آزمون چندگزینه‌ای 200 سوالی پیش کارورزی (پره انترنی) قطب ده علوم پزشکی کشور در شهریور ماه 1395 بود که تعداد 274 داوطلب از دانشجویان دانشگاه های علوم پزشکی به آن پاسخ داده بودند. در فرایند تعیین استاندارد و نمره برش؛ یک نمره برش برای تفکیک داوطلبان در سطوح عملکردی قبول/ رد تعیین شد. داده ها با استفاده از نرم افزار آماری winstep تحلیل گردید.یافته ها:نتایج نشان داد که این آزمون از اعتبار سوال 0/98 =prو اعتبار فرد0/93=irبرخوردار است که نشان دهنده مناسب بودن واریانس نمونه، طول تست و همچنین سوالات از حوزه های شانزده گانه به تناسب انتخاب گردیده است. اجرای پنل داوران و بررسی سوالات با روش نقشه سوال نشان داد که توافق داوران پس از سه مرحله داوری شامل پارامتر دشواری برابر (0/48) و نمره خام برابر 123 و معادل پارامتر توانایی (0/58) بوده است.نتیجه گیری: بررسی روایی رویه ای نمره برش نشان داد که استفاده از روش نقشه سوال توانسته است توافق بالایی بین داوران نسبت به تعیین نمره برش ایجاد نماید. نتیجه نشان داد که هیات داوران رضایت بالایی از این فرایند از کاربردی بودن و اجرایی بودن مراحل اجرا دارند.

The Use of Rasch and Item Mapping in Determining Cut Score of Comprehensive Pre internship Exam

Introduction: One of the most controversial issues in educational measurement is to determine the cut score during the development and administration of a test. This paper aimed at using the Rasch model (item mapping) in determining cut score of the comprehensive pre internship exam in medical education.Methods:This is a descriptive crosssectional study. in doing so 13 faculty members of Tehran University of Medical Sciences were selected as the panelists Data collection instrument was the 200item pre intership exam which administered in the Region 10 of the national medical science system between August 22 and September 21, 2016, that were responded by 274 students of university of medical sciences A cut score was set to identify pass/fail score for performance assessment. Data were analyzed by Winstep.Result: According to the findings, the item reliability of this exam was 0.98 (PR=0.98) and person reliability of 0.93 (IP=0.93), that indicate the sample variance and test length were suitable and the items were selected from the nine regions proportionally. Examining items by panelists using the item map method showed three judgment stages included the item difficulty of (0.46), raw score of 103, and ability parameter equivalent of (0.58).Conclusion: Procedural validity of the cut score showed that the use of item map method resulted in greater agreement between the panelists on this score. Results indicated high satisfaction of the panelists because of feasibility of this process and implementation stage.