روایی سازه و روایی پیش‌بینی‌کننده ارزیابی‌های حین دوره دستیاران طب اورژانس دانشگاه علوم پزشکی تهران

مقدمه: بررسی شاخص‌های روان سنجی با هدف ارزیابی کیفیت آزمون‌های پیشرفت تحصیلی از اهمیت ویژه‌ای برخوردار است. هدف این مطالعه بررسی نتایج حاصل از ارزیابی‌های درون بخشی و کتبی دستیاران طب اورژانس از نظر روایی سازه و نیز توانایی آنها در پیش‌بینی میزان موفقیت آکادمیک دستیاران است. روش‌ها: در این مطالعه توصیفی همبستگی تمامی دستیاران طب اورژانس دانشگاه علوم پزشکی تهران که بین سال‌های 1388 تا 1393موفق به ورود به دوره دستیاری طب اورژانس شده ‌بودند و تا سال 1396 در آزمون پره بورد شرکت کرده بودند به روش سرشماری وارد مطالعه شدند(199 نفر). نمره آزمون گواهی‌نامه به عنوان متغیر اصلی تعیین گردید؛ سپس همبستگی نتایج ارزیابی‌های درون بخشی و کتبی با آن مقایسه شد. برای تعیین همبستگی بین نمرات از آزمون همبستگی پیرسون استفاده شد. نتایج: در نهایت نتایج ارزیابی های 125 دستیار تحلیل شد. میزان همبستگی بین نمرات درون بخشی یک و دو، کتبی یک و دو با نمرات آزمون گواهی‌نامه به ترتیب (r=0.1,p=0.202)، (r=0.2,p=0.014)، (r=0.3,p=0.006)،(r=0.3,p=0.0001) بود. میانگین نمرات دستیاران سال اول، دوم و سوم در آزمون کتبی از 150 نمره در سال 1393 به ترتیب57.12 ±77.29، 8.05±91.33، 8.52±123.13، میانگین این نمرات در سال 1394، 8.52±67.44، 23.41±73.17، 6.38±121.25 و در سال ،1395 28.04±68.17، 14.34±88.42 و 7.73±118.51 بود.نتیجه‌گیری: نتایج حاصل از مطالعه نشان داد ارزیابی‌های حین دوره دستیاران طب اورژانس در پیش‌بینی میزان موفقیت آکادمیک دستیاران از روایی پیش‌بینی‌کننده مناسبی برخوردار است. همچنین مشاهده قدرت افتراق آزمون‌های کتبی در تمایز بین دستیاران سطوح مختلف، نشان‌دهنده روایی سازه این آزمون است.

The Construct Validity and Predictive Validity of In-Training Evaluations of Emergency Medicine Residents in Tehran University of Medical Sciences

Introduction: The evaluation of psychometric indicators in order to evaluate the quality of academic achievement exams is of particular importance. The aim of this study was to investigate the results of the written exams and internal evaluations among the emergency medicine residents in terms of the construct validity and also their ability in predicting resident rsquo;s academic success.Methods: In this descriptive correlational study all the emergency medicine residents of Tehran University of Medical Sciences who could enter the emergency medicine residency program within 2009 to 2014 and had participated in the preboard exam till 2017, were selected through the census method (n=199). The certification exam score was considered as the main variable; then, correlation of written and internal evaluations results were compared with it. The Pearson correlation test was used to determine the correlation between the scores. Results: Finally, the evaluation results of 125 residents were analyzed. The correlation between first and second internal evaluation scores, first and second written scores with the certification exam scores were (p=0.006, r=0.3), (p=0.014, r=0.2), (p=0.202, r=0.1) and (p=0.000, r=0.3), respectively. The mean scores of the first, second and third year residents in written exams were 77.92 ±12.57, 91.33 ±8.05, 123.13 ±8.52 out of 150 in 2014; the mean of these scores were 67.44 ±8.52, 73.17 ±23.41, 121.52 ±6.38 in 2015 and 68.71 ±28.04, 88.24 ±14.34 and 118.15 ±7.73 in 2016, respectivelyConclusion: The results of this study showed that intraining evaluations of the emergency medicine residents had acceptable predictive validity in predicting academic success of residents. Also, the ability of the written exams in discriminating between residents of different grades demonstrated the construct validity of these exams.