بررسی روند تغییرات کیفیت آزمون عینی ساختارمند بالینی برای سنجش صلاحیت بالینی دانشجویان

مقدمه: با توجه به آنکه در سال های اخیر آزمون صلاحیت بالینی به منظور سنجش عملکرد دانشجویان پزشکی پیش از فارغ التحصیلی اجرا می شود، بررسی ویژگی های سایکومتریک آن به منظور اتخاذ تصمیمات مدیریتی در زمینه برگزاری یک آزمون روا و پایا ضروری است. روش کار: در این مطالعه ی گذشته نگر، تمامی دانشجویان پزشکی دانشگاه علوم پزشکی تهران که در طی سال تحصیلی 2017-2018 در آزمون صلاحیت بالینی شرکت کردند، وارد مطالعه شدند. نمرات شرکت کنندگان به تفکیک ایستگاه ها و نمره کل آزمون آسکی جمع آوری و تحلیل شد. به منظور بررسی کیفیت آزمون آسکی صلاحیت بالینی، ضریب دشواری، ضریب تمیز، r2 و تمایز بین درجات با استفاده از نرم افزار spss محاسبه شد. پایایی آزمون با استفاده از آلفای کرونباخ تعیین شد. همبستگی بین معدل کل دانشجویان با نمره نهایی آسکی محاسبه شد. یافته‌ها: تعداد 327 نفر کارورز در قالب 4 دوره ی برگزاری آزمون صلاحیت وارد مطالعه شدند. مقدار r^2 برای هر آزمون به ترتیب از 0.33 تا 0.78، 0.75 تا 0.91، 0.63 تا 0.90 و 0.53 تا 0.89 بدست آمد. مقدار آلفای کرونباخ آزمون از 0.52 تا 0.76 به دست آمد. دامنه ضریب تمیز به ترتیب برای هر آزمون برابر 0.02- تا 0.52، 0.09- تا 0.64، 0.05- تا 0.64 و 0.94 تا 1 بود. دامنه ضریب دشواری به ترتیب برای هر آزمون برابر 0.68 تا 0.93، 0.21 تا 0.88، 0.62 تا 0.91 و 0.72 تا 0.96 بود. ضریب همبستگی بین معدل کل و نمره نهایی آسکی صلاحیت بالینی 0.56 (0.001 >p) محاسبه شد. نتیجه گیری: ضرایب تحلیل پس آزمون آسکی در نوبت های مختلف اجرای می تواند به دلیل اثرات آموزشی اجرای آزمون بر یادگیری دانشجویان و بهبود کیفیت طراحی ایستگاه ها تغییر کند. محاسبه شاخص های سایکومتریک متناسب با آزمون های مبتنی بر عملکرد برای تحلیل ایستگاه ها و نیز تحلیل کل آزمون قابل اجرا است و اطلاعات مفیدی در خصوص نقاط مثبت و منفی آزمون در اختیار می گذارد که برای ارائه راهکارهای اصلاحی حائز اهمیت است.

investigating the trend of changes in the quality of objectivestructured clinical examination to assess the clinical competenceof medical students in tehran university of medical sciences

introduction: considering that in recent years the clinical competency test is performed to measure the performanceof medical students before graduation, it is necessary to study its psychometric properties in order to make managerialdecisions to hold a valid and reliable test.materials and methods: in this retrospective study, all medical students of tehran university of medical scienceswho participated in the clinical competency test during the academic year 2017-2018 were included in the study.participants' scores and the total score of the osce test were collected and analyzed separately for each station. inorder to evaluate the quality of osce, difficulty index, discrimination index, r2 and differentiation of degrees werecalculated using spss software. the reliability of the test was determined using cronbach's alpha. the correlationbetween the total grade point average of the students was calculated by the final osce score.results: 772 interns were included in the study in the form of 4 courses of competency test. the value of r2 for eachtest is 0.33 to 0.78%, 0.75 to 0.91%, 0.63 to 0.90%, 0.53 to 0.89%, respectively. the cronbach's alpha test wasobtained from 0.52 to 0.76. the range of discrimination index for each test was equal to -0.02 to 0.52, -0.09 to 0.64, order to evaluate the quality of osce, difficulty index, discrimination index, r2 and differentiation of degrees werecalculated using spss software. the reliability of the test was determined using cronbach's alpha. the correlationbetween the total grade point average of the students was calculated by the final osce score.results: 772 interns were included in the study in the form of 4 courses of competency test. the value of r2 for eachtest is 0.33 to 0.78%, 0.75 to 0.91%, 0.63 to 0.90%, 0.53 to 0.89%, respectively. the cronbach's alpha test wasobtained from 0.52 to 0.76. the range of discrimination index for each test was equal to -0.02 to 0.52, -0.09 to 0.64,-0.05 to 0.64, and 0.94 to 1 respectively. the range of difficulty index for each test was 0.68 to 0.93 and 0.21 to 0.88,0.62 to 0.91, and 0.72 to 0.96, respectively. the correlation coefficient between the total grade point average and thefinal osce score was calculated to be 0.56 (p<0.001).conclusion: the internal consistency of the tests was acceptable. the r-index varied at different test times at differentstations. the range of difficulty index and discrimination index in different test times have changes that can beresulting from the educational effects of test implementation for students and improving the design quality of stations.there was a direct and positive relationship between students' gpa and osce final score based on pearson correlationcoefficient.