تحلیل تشخیصی سوالات بخش درک مطلب زبان انگلیسی عمومی آزمون ورودی دوره ‌های دکتری با استفاده از مدل غیرجبرانی فیوژن

رویکردهای سنتی و جاری سنجش در بازنمایی قابلیت های زبانی افراد با چالش های عملی و نظری همراه بوده و توانایی آنها در سنجش و گزینش داوطلبان موردتردید قرار گرفته است. به گونه ای که متخصصان حوزه اندازه گیری آموزشی را به استفاده از روش های جدیدتر و کارآمدتر، سنجش تشخیصی شناختی، سوق داده است. هدف مقاله حاضر تحلیل تشخیصی سوالات بخش درک مطلب آزمون ورودی دوره های دکتری زبان انگلیسی عمومی با استفاده از مدل غیر جبرانی فیوژن به منظور شناسایی مهارت های آزمون مورد مطالعه، کفایت مدل ارائه شده (همگرایی و برازش مدل)، توان تشخیصی آزمون و میزان تسلط داوطلبان در هر یک از مهارت ها بود. جامعه موردبررسی عبارت از کلیه 3942 داوطلب کنکور در رشته های آموزش زبان انگلیسی، زبانشناسی، مترجمی و ادبیات انگلیسی در سال 1391 بود و اطلاعات مربوط به 2754 آزمودنی به عنوان گروه نمونه تحلیل شد. از تحلیل محتوای آزمون، کدگذاری آن و بررسی گزارش های کلامی برای تعیین مهارت های زیربنایی احتمالی هر یک از سوالات استفاده شد. نتیجه بررسی های بخش کیفی شش مهارت تدوین شده شامل استفاده از دانش واژگان، استفاده از دانش نحوی، استخراج اطلاعات صریح، استنتاج، اتصال و ادغام و استفاده از دانش عملی بود. تحلیل داده ها با استفاده از مدل غیر جبرانی فیوژن کاهش یافته مبتنی بر الگوریتم زنجیره مارکف مونته کارلو، نشان دهنده کفایت مدل تدوین شده و امکان استفاده از آن در داده های زبان انگلیسی بود. از بین مهارت های درک مطلب اتصال و ادغام، استفاده از دانش عملی، استخراج اطلاعات صریح، استنتاج، استفاده از دانش نحوی و استفاده از دانش واژگان به ترتیب آسانترین تا دشوارترین مهارت ها بود. دقت و اعتبار طبقه بندی آزمون شوندگان در هر یک از مهارت های درک مطلب نیز مناسب ارزیابی شد. نتایج این مطالعه نشان داد که استفاده از مدل های تشخیصی شناختی، اطلاعات بیشتری را ارائه میدهد.

Diagnostic analysis of general English reading comprehension's items of PhD entrance exam using noncompensatory fusion model

Traditional approaches in educational measurement have some practical and theoretical challenges in demonstrating language competencies and their abilities in assessment candidates' skills and selecting them have been questioned. In order to overcome these restrictions cognitive diagnostic models (CDMs) have been introduced and applied. Objective: The purpose of this study was diagnostic analysis of reading comprehension items of a general English language test (PhD entrance exam) to investigate underlying skills of a given test, inspection of model convergence and its fit, diagnostic power of the test and the mastery status of examinees. Method: The study conducted in cognitive diagnostic modeling. The population was all PhD candidates which majored in English teaching, linguistics, translation, and English literature. 2754 examinees were used as a sample. Task analysis, coding and verbal reports were applied to determine underlying skills of the test. Results: In qualitative section, 6 skills including using vocabulary knowledge, using syntactic knowledge, extracting explicit information or scan, drawing inference, connecting and synthesizing and using pragmatic knowledge were investigated. Also, quantitative analyses using noncompensatory reduced fusion model (FM) based on a Monte Carlo Markov chain (MCMC) indicated MCMC convergence and model fit and possibility of application of fusion model in English language's tests. The ability parameters were low for all skills. Using vocabulary knowledge was the simplest skill. The mean of item proportioncorrect scores was .42 and the test did not have a high diagnostic power. Discussion and conclusion: Using cognitive diagnostic models in general and fusion model in particular results in achieving more information about tests and examinees' responses and it helps to reach the goal of assessment for learning and classify examinees as masters or nonmasters correctly. Key Words: Cognitive Diagnostic Models (CDMs), Noncompensatory Fusion Model (FM), Reading Comprehension's Skills, and English Language