investigating the validity of phd entrance exam of elt in iran in light of argument-based validity and theory of action

Although some piecemeal efforts have been made to investigate the validity and use of the iranian phd exam, no systematic project has been specifically carried out in this regard. the current study, hence, tried to attend to this void. as such, to ensure a balanced focus on test interpretation and test consequence, and to track evidence derived from a mixed–method study on the validity of iranian phd entrance exam of tefl (ipeet), this study drew on a hybrid of two argumentbased structures: kane's (1992) argument model and bennett's (2010) theory of action. resting on the network of inferences and assumptions borrowed from the hybridized framework, the study investigated the extent to which the proposed assumptions would be supported by empirical evidence. it also examined the unintended consequences that may possibly be revealed through this validity investigation. three sources of data informed the present study: (a) test score data from about 1000 phd applicants' taking ipeet test administered in 2014, (b) questionnaires completed by university professors and phd students of tefl, and finally, (c) telephone and focusgroup interviews with university professors and phd students of tefl, respectively. the results from the analysis of mixedmethod data indicated that all the inferences proposed for this study were rebutted, suggesting that some unintended consequences have happened to the technical as well as the decision quality of this test, hence its invalidity. findings also provided valuable insights and suggestions for the betterment of the present content and current policy of ipeet in iran.

بررسی روایی آزمون دکتری آموزش زبان انگلیسی بر اساس روایی استدلالی و نظریه کنش‌گرا

در مطالعه حاضر تلاش شده است تا روایی آزمون دکتری آموزش زبان انگلیسی در چارچوبی نوین بررسی شود. این آزمون از طریق دو رویکرد استدلال محور یعنی مدل استدلال محور کین (1992) و مدل کنشگرای بنت (2010) بررسی شد. بدین منظور،  برای رد یا اثبات فرضیه‌های پیشنهاد شده در مدل تلفیقی سعی شد تا مستندات تجربی و نظری لازم ارائه شوند. این مطالعه همچنین اثرات پیش‌بینی نشده آزمون را از طریق بررسی روایی مورد مطالعه قرار داده است. برای جمع‌آوری اطلاعات لازم در این مطالعه از سه نوع داده استفاده شد : (1) داده‌های مربوط به عملکرد تمامی شرکت‌کنندگان (999 نفر) آزمون دکتری رشته آموزش زبان سال 1393  (2) پرسشنامه‌هایی که توسط 103 دانشجوی دکتری و 20 استاد دانشگاه جواب داده شد و (3) مصاحبه تلفنی با 20 استاد دانشگاه و همچنین مصاحبه گروهی با 35 دانشجوی دکتری رشته آموزش زبان انگلیسی. نتایج حاکی از رد فرضیه‌های ارائه شده برای روایی آزمون مذکور بود. بدین معنی که به طور کلی آزمون از روایی خیلی ضعیفی برخوردار است. برای نمونه، تحلیل نمره‌های آزمون دکتری و بررسی برداشت دانشجویان از روایی آزمون نشان داد که نه تنها محتوای آزمون اشکال دارد بلکه تصمیم‌هایی که در مورد نتایج این آزمون گرفته شده نیز مناسب نبوده که این امر نهایتاً منجر به وجود آمدن نتایج غیرمطلوبی برای سهامداران شده است. یافته‌های این رساله همچنین پیشنهاداتی برای بهبود محتوا و نیز خط‌مشی کنونی آزمون در ایران ارائه می دهد.