طراحی و کاربرد روش سنجش انطباقی کامپیوتری برای اجرای آزمون تولیمو در سازمان سنجش آموزش کشور

سنجش مهارت زبان انگلیسی در ارزیابی‌های خطیر به تعداد زیادی پرسش برای آزمون‌هایی به‌شیوه‌ مدادکاغذی (p&p) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون‌های سرنوشت‌ساز شرکت می‌کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (cat) به‌عنوان گزینه‌ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. cat برخلاف آزمون‌های سنتی p&p که توالی گزینش پرسش‌ها در آن ثابت و یکنواخت است، از یک شیوه‌ گزینش سوال بهینه و انطباقی استفاده می‌کند. cat، برآورد توانایی موقت را به‌طور بهینه مورد هدف قرار می‌دهد و به یک ملاک همگرایی مناسب برای برآورد توانایی می‌رسد و در نتیجه، به یک فرایند سنجش کوتاه‌تر، قابل اطمینان‌تر و کارآمدتر می‌رسد. مورد مطالعه مهارت زبان انگلیسی در مطالعه حاضر، آزمون تولیمو است. این پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه‌ای از اجراهای مدادکاغذی آزمون تولیمو (دوره‌ 114 تا 123)، انتخاب و سپس، سوال‌ها و توانایی آزمودنی‌ها مدرج‌سازی شد. در مرحله‌ دوم، catهای بهینه شبیه‌سازی شده به‌عنوان مبنایی برای ارزیابی صحت و کارایی cat عملیاتی طراحی شدند. نتایج پژوهش نشان داد که برآورد پارامتر توانایی به روش بیشینه‌ درست‌نمایی و ملاک توقف طول ثابت، بیشترین دقت در برآورد پارامتر توانایی آزمودنی‌ها را ایجاد می‌کنند. همچنین، آزمون cat تولیمو که بر اساس خزانه‌ سوال بهینه شبیه‌سازی‌شدند، نسبت به cat عملیاتی که بر اساس خزانه‌ سوال موجود طراحی شده‌ است، به سوال‌های کمتری نیاز دارد، درحالی‌که به نتایج دقیق‌تری نسبت به cat عملیاتی در برآورد پارامتر توانایی منجر می‌شود. بنابراین، باوجود مناسب بودن سوال‌های موجود در خزانه‌ سوال مدرج‌سازی شده آزمون تولیمو، طراحی سوال‌هایی برای هدف اجرای آزمون به شیوه‌ cat، هم به‌صرفه‌تر است و هم دقیق‌تر پارامتر توانایی را برآورد می‌کند. همچنین، نتایج این مطالعه نشان داد که آزمون تولیمو هم به شیوه‌ cat شبیه‌سازی شده و cat عملیاتی طراحی ‌شده به شکلی کارآتر و دقیق‌تر نسبت به تولیمو مدادکاغذی عمل می‌کند. یافته‌های این پژوهش، نشان می‌دهد که آزمون cat تولیمو دارای پتانسیل بالایی در کارایی و دقت اندازه‌گیری توانایی زبان انگلیسی است.

Designing and Application of a Method Computerized Adaptive Testing for Implementation TOLIMO Test in the National Organization of Educational Testing

Measuring of English Language proficiency in largescale assessments normally requires a large number of test items and relies on paperandpencil (P&P) formats; because many people participate annually in this high stake type of tests. The purpose of this research is to design and apply a Computerized Adaptive Testing (CAT) as an alternative to assessing the English language proficiency in the National Organization of Educational Testing. Unlike the traditional P & P tests in which the sequence of selection of items in it is constant and uniform, CAT uses an optimal and adaptive item selection method. CAT caters to optimally estimating temporary ability parameter and achieves a suitable convergence criterion for estimating ability, which results in a shorter, more reliable, and more efficient measurement process. In current study, the case study for examination of English language skill was the TOLIMO test. This research has been carried out in two phases. In the first stage, a sample of pencilpaper TOLIMO (period 114 to 123) was selected and then the items and subjects’ ability were calibrated. In the second phase, simulated optimal CATs were designed as a basis for evaluating the efficiency of operational CAT. The results show that the ability parameter estimation method, the maximum likelihood and the fixed length of test as test termination criterion, give the most accuracy in the ability parameter estimation. Also, the simulated CAT TOLIMO test based on the optimum item pool needs less items than the designed CAT based on the available item pool, while it leads to obtain more accurate results in comparison to the operational CAT for ability parameter estimation. Therefore, despite the suitability of the items in the graded item pool of TOLIMO, the design of items to implement the examination with CAT method is so much better and more accurately, the ability parameter is estimated. The study also demonstrates that TOLIMO test in the form of simulated CAT and operational CAT can be more efficient and precise in the evaluation criteria than TOLIMO test in the form of P&P. The findings suggest that CAT has a great potential in efficiently and precisely measuring TOLIMO ability of English language.