روایی آزمون‌های ورودی دکتری مهندسی1397

عملکرد موفقیت‌آمیز داوطلب دوره دکتری مهم‌ترین عامل در تصمیم‌گیری اعضای کمیته پذیرش است که کمک می‌کند کدام داوطلب را بپذیرند. یکی از مباحثی که همیشه همراه با نمره‌های آزمون‌های پذیرش وجود داشته، مسئله روایی نمره‌های  در پیش‌بینی عملکرد موفقیت‌آمیز  داوطلبان بوده است. هدف از اجرای این پژوهش، بررسی روایی ملاکیپیش‌بین نمره‌های آزمون‌های تخصصی  در چهار رشته دکتری مهندسی روی سنجه‌های مصاحبه  به‌عنوان ملاک عملکرد موفقیت‌آمیز  بوده است. در این پژوهش که توصیفی از نوع همبستگی است، رتبه‌های داوطلبان در آزمون‌های اختصاصی  و مصاحبه  در چهار رشته دکتری مهندسی در سال 1397 بر اساس تئوری تعمیم‌پذیری تحلیل شدند. بسته به رشته دانشگاهی داده‌های آزمون‌شوندگان دربرگیرنده نمره آنها روی 3 تا 8 خرده‌آزمون اختصاصی  و 2 نمره ترکیبی ملاک مصاحبه  بود. داده‌ها با نرم‌افزار mgenova بر اساس یک طرح تک‌رویه‌ای  تحلیل شدند. سپس همبستگی بین دو نمره جهانی ترکیبی با توزیع نرمال دومتغیری در نمودار پراکندگی نشان داده شده است. نتایج نشان می‌دهد نمره‌های آزمون‌های تخصصی  به‌خوبی می‌توانند نمره‌های افراد را در ملاک مصاحبه  به‌عنوان شاخص عملکرد موفقیت‌آمیز  یا کیفیت داوطلب پیش‌بینی کنند (به‌جز در رشته فناوری اطلاعات)؛ تعداد زیاد خرده‌آزمون‌های تخصصی، ناپایایی آنها و واریانس نابسته به سازه از عواملی هستند که می‌توانند پیش‌بینی‌های درست برای پذیرش یا رد داوطلبان را –به‌ویژه روی نمره برش تحت تاثیر قرار دهند. اگرچه پیش‌بینی دقیق عملکرد موفقیت‌آمیز  داوطلبان دوره دکتری به وسیله نمره‌های آزمون‌ها  هدف دست نیافتنی است، اما تعریف بهتر آنچه ملاک موفقیت  در دوره دکتری است و بااهمیت‌تر شدن آزمون‌های عمومی زبان و استعداد  و هم‌زمان تعدیل سطوح دشواری این آزمون‌ها و کاهش خطای اندازه‌گیری سنجه‌های پیش‌بینی‌کننده  در یک برنامه سنجش دومرحله‌ای که در آن آزمون‌های عمومی زبان و استعداد به‌عنوان غربال اولیه توسط سازمان سنجش برگزار شود و آزمون‌های اختصاصی و مصاحبه توسط دانشگاه‌ها، می‌تواند راه بهینه‌ای باشد برای افزایش روایی نمره‌های آزمون‌ها  در پیش‌بینی عملکرد موفقیت‌آمیز  داوطلبان و پذیرش دانشجویان باکیفیت‌تر.

Validity of PhD Entrance Exams of Engineering in 1397

The quality of a PhD candidate’s performance is the most important factor that can affect admission committee members’ decisionmaking and selection of applicants. One of the issues that has always accompanied candidates’ scores  in admission exams is the validity of these scores in predicting the candidates’ successful performance . The primary purpose of this research was evaluating the predictive criterion validity of subject tests scores  in four engineering PhDprograms on interview measures  as the criterion for successful performance . In this descriptive correlational study, candidates’ scores in subject tests  and interviews  in four engineering PhD programs in 2018 were analyzed based on the Generalizability theory. Depending on their majors, examinees’ data included their scores on 3 to 8 subtests in subject tests and 2 composite interview criteria . Data were analyzed using mGENOVA software based on a multivariate analysis with a single facet  design. The relationship between two composite universe scores was illustrated by the bivariate normal distribution in a typical scatter diagram. The results show that subject tests scores can predict candidates’ scores on the interview criterion as an index for successful performance except in the field of Information Technology. The large number of subtests in subject tests,their instability, and the construct irrelevant variance were among the factors that may influence the accuracy of predictions, especially on the cut scores, for accepting or rejecting candidates. Accurately predicting the success of an applicant’s performance  based on test scores   is an unattainable goal. However, precisely defining the criteria for success  in PhD programs, increasing the significance of general English and aptitude tests, adjusting the difficulty level of tests, reducing measurement error in predictive measures  , having a twostep assessment program in which the general language and aptitude tests are administered as a primary screening by NOET and the subject tests and interviews by universities can be effective method to increase the criterion validity of test scores in predicting candidates’ successful performance and enhance the chances of admitting more qualified students.