چالش‌های مدل‌سازیِ سنجش شناختی-تشخیصی و چگونگی رفع آن‌ها در داده‌های مطالعه تیمز

هدف: سنجش شناختی- تشخیصی به‌عنوان یکی از مباحث جدید در سنجش آموزشی مطرح شده است. در این روش، اطلاعات وسیع‌تری در مورد چگونگی یادگیری افراد و نحوه‌ تسلط بر مهارت‌های شناختیِ لازم برای بهبود فرایند یادگیری بررسی می‌شود. به علت تفاوت‌های سنجش شناختی-تشخیصی با مدل‌های دیگر سنجش، چالش‌های خاصی در مدل‌سازی این روش وجود دارد.روش: به‌عنوان نمونه‌ای عملی از مدل‌سازی، داده‌های علوم مطالعه‌ تیمز با رویکرد شناختی-تشخیصی تحلیل شده و مشکلات فرایند مدل‌سازی آن مستند گردید. هر یک از چالش‌ها مورد تشریح قرار گرفته تا تفاوت‌های آن با رویه‌های مرسوم مدل‌سازی آشکار گردد.یافته‌ها: چالش‌های مورد بحث شامل تک ‌بُعدی بودن در مقابل چند بُعدی بودن، تعداد خصیصه‌ها، همبستگی بین خصیصه‌ها، تعداد مناسب سوال در هر خصیصه، درجه‌ دقت خصیصه‌ها، اعتبار خصیصه‌ها، روایی سنجش شناختی-تشخیصی، پارامترهای سوال، برازش مدل، شناسایی و تعیّن مدل، هم‌گرایی و نمونه‌گیری‌های پیچیده بودند.نتیجه‌گیری: برای نشان دادن چگونگی حل این چالش‌ها در نمونه‌ای عملی، تجربه‌ مدل‌سازی شناختی-تشخیصی داده‌های مطالعۀ تیمز به بحث گذاشته شد.

challenges of modeling in cognitive diagnostic assessment and solving them in timss data

objective: cognitive diagnostic assessment has been introduced as a new issue in educational measurement. in this approach, more information was examined about how people learn and master cognitive attributes in school. there are several data modeling issues in cognitive diagnostic assessment due to differences with another statistical modeling.methods: in the present study, science data of grade eight in timss was analyzed by cognitive diagnostic assessment, as an empirical example, and the problems were entitled as modeling challenges. each challenge has been explained in order to highlight differences from the usual statistical modeling.results: the challenges included; unidimensionality versus multidimensionality, number of attributes, correlation between attributes, number of items in each attribute, operationalization of attribute, reliability of attribute, validity, item parameters, fit of the model, identification and specification, convergence, and complex sampling.conclusion: each topic was discussed in the context of modeling timss data in a science course and the experience of solving these challenges was shared.