کارکرد افتراقی سوال در چارچوب سنجش تشخیصی شناختی: مطالعه موردی سوال‌های حساب دیفرانسیل و انتگرال کنکور سراسری 97

هدف: منصفانه بودن سوال‌های آزمون‌های سراسری بنا به اذعان بسیاری از متخصصان همواره حائز اهمیت است. از آنجا که تعیین سوال‌های دارای کارکرد افتراقی می‌تواند گامی مهم در جهت منصفانه بودن آزمون‌های سرنوشت‌ساز باشد، بنابراین در پژوهش حاضر، کارکرد افتراقی سوال‌های ریاضی بخش حساب دیفرانسیل و انتگرال آزمون سراسری ورودی دانشگاه‌های کشور در میان داوطلبان دختر و پسر با استفاده از آزمون والد تحت مدل تشخیصی شناختی دینا موردمطالعه قرار گرفت. روش: این پژوهش توصیفی از نوع تحلیل ثانویه در چارچوب مدل‌یابی تشخیصی شناختی است. نمونه شامل 5000 نفر از داوطلبان کنکور سال 1397 است که از میان 144437 نفر شرکت‌کننده در گروه آزمایشی ریاضی و فیزیک به روش نمونه‌گیری تصادفی انتخاب شدند. بعد از شناسایی و تعیین مهارت‌های زیربنایی هر یک از سوال‌ها با کمک متخصصین، شاخص‌های برازش مدل و پارامترهای سوال‌ها بر مبنای مدل غیرجبرانی دینا تحلیل شد. یافته‌ها نشان‌دهنده برازش مناسب مدل با داده‌ها بود. به‌منظور بررسی کارکرد افتراقی سوال از آزمون والد استفاده شد. یافته‌ها: نتایج نشان داد که از 23 سوال آزمون، 5 سوال دارای کارکرد افتراقی است. همه سوال‌های دارای کارکرد افتراقی از نوع کارکرد افتراقی یکنواخت بوده و به نفع داوطلبان پسر عمل می‌کنند. همچنین 4 سوال از این 5 سوال دارای اندازه dif با شدت کم و 1 سوال دارای اندازه dif با شدت زیاد شناسایی شدند. نتیجه گیری: نتایج پژوهش حاضر می‌تواند اطلاعات سودمندی برای طراحان سوال و سازندگان آزمون سراسری از نظر تاثیر جنسیت بر عملکرد داوطلبان به‌دست ‌دهد تا با شناسایی، اصلاح و یا حذف این سوال‌های آزمون از منصفانه بودن و روایی آزمون نسبت به کاربرد آن اطمینان حاصل شود.

Differential Item Functioning in the Framework of Cognitive Diagnostic Assessment: Questions Related to the Differential and Integral Calculus of the Iranian National University Entrance Examination 2018

Objective: Many experts have emphasized on the importance of National Entrance Examination item fairness. As the detection of differential item functioning (DIF) may contribute to the fairness of highstakes tests, the present study investigated the DIF of the Differential and Integral Calculus items on an Iranian National University Entrance Examination (INUEE) among male and female candidates under Cognitive Diagnostic DINA Model using the Wald test.Method: This study was a secondary analysis based on cognitive diagnostic modeling (CDM). The sample included 5000 candidates of the 2018 University Entrance Examination who were selected using random sampling from among 144,437 participants in the Mathematics and Physics Category. Once the required underlying attributes of each item were identified and specified with the help of experts, the goodnessoffit indices and item parameters were analyzed based on noncompensatory DINA Model.Results: The results showed good fit of the model to the data. Besides, the results of the Wald test indicated that 5 out of 23 items were flagged as DIF, whereas all of them had uniform DIF and in favor of male candidates. In addition, 4 items had a small DIF size and 1 item exhibited a large DIF size.Conclusion: The results of this study can provide Nationwide Examination item developers with beneficial information concerning the effects of gender on the performance of candidates, in order to ensure the fairness and validity of tests by detecting, modifying, or eliminating certain items.