استفاده از تحلیل داده‎های شبکه‌ای در بهبود الگوریتم آزمون‎های انطباقی کامپیوتری

زمینه: روش‌شناسی شبکه امکان مطالعه همزمان چندین هدف را میسر می‌سازد و قابلیت‌هایی دارد که منجربه ارائۀ ابزارهای تحلیلی مناسب می‌گردد. پژوهش‌هایی در خصوص استفاده از تحلیل داده‌های شبکه در حوزه سنجش تربیتی وجود دارد اما کمتر پژوهشی است که بصورت عملی به ساخت آزمون انطباقی مبتنی بر نظریۀ شبکه و یا ارائۀ الگوریتم آن پرداخته باشد. آیا امکان استفاده از علم شبکه در ساخت آزمون های انطباقی وجود دارد؟ هدف: این مطالعه با هدف بهبود الگوریتم آزمون‌های انطباقی مبتنی بر تحلیل داده‌های شبکه‌ بر روی زبان آموزان مراکز و موسسات آموزش زبان شهر تهران انجام شد. روش: این پژوهش از نوع توصیفی و تمرکز اصلی آن بر تحلیل سوالات آزمون با تکنیک تحلیل داده‌های شبکه بود. جامعه آماری کلیۀ زبان آموزان ده موسسه برتر آموزش زبان شهر تهران در سال 1398 بود که قابلیت خواندن زبان انگلیسی را در حداقل سطح داشتند. از میان آنان 1556 نفر به روش نمونه‌گیری در دسترس انتخاب شدند. ابزار سنجش آزمون 140 سوالی خزانه لغات انگلیسی (vst) (نیشن و وارینگ، 1997) بود. تحلیل سوالات آزمون از طریق نظریۀ کلاسیک، نظریۀ سوال-پاسخ و تحلیل شبکه مبتنی بر الگوریتم فراچترمن-رینگولد انجام شد. یافته ها: پارامترهای سوالات آزمون بر اساس نظریات کلاسیک و سوال-پاسخ محاسبه گردید. نقشه ارتباط بین سوالات مبتنی بر الگوریتم فراچترمن-رینگولد، بر اساس آزمون آماری همبستگی تفکیکی با تعدیل آلفا (0/01< p) ترسیم شد، شاخص‌های مرکزیت شبکه و الگوریتم انطباقی آزمون استخراج گردید. نتیجه گیری: استفاده از مزایای تکنیک تحلیل داده‌های شبکه‌ای مانند قابلیت دیداری‌سازی نتایج، ارائۀ گزارش‌های ساده و جامع و در نظر گرفتن اهمیت سوالات در ساختار شبکه ارتباطی بین سوالات به ارتقاء روش‌های آزمون‌سازی انطباقی منجر شده است.

Use of network data analysis to improve algorithm of computerized adaptive tests

Background: Network methodology makes it possible to study several goals at the same time and has capabilities leads to providing appropriate analytical tools. There are studies on the use of network data analysis in the field of educational assessment but there is less research that has practically constructed an adaptive test based on network theory or presented its algorithm. Is it possible to use network science to build adaptive tests? Aims: This study was performed with the aim of improving the adaptive test algorithm based on network data analysis on language learners of language teaching centers and institutions in Tehran. Method: This research was descriptive and its main focus was on the analysis of test questions using network data analysis technique. The statistical population included all students of the top ten language teaching institutes in Tehran in 2019 who had the ability to read English at a minimum level. Among them, 1556 people were selected by convenience sampling method. The tool used was the 140item English Vocabulary Size Test (VST) (Nation Waring, 1997). The analysis of test questions was performed through classical test theory, item response theory and network analysis based on FruchtermanRingold algorithm. Results: The parameters of the test questions were calculated based on classical test theory and item respons theory. The relationship map between the questions was drawn based on FruchtermanRingold algorithm and statistical test of partial correlation with alpha modulation (p< 0/01), network centrality parameters and adaptive test algorithm were extracted. Conclusions: Utilizing the benefits of network data analysis techniques such as results visibility, providing simple and comprehensive reports and considering the importance of the questions in the structure of the communication network between the questions have led to the improvement of adaptive testing methodes.