ساخت روبریک برای ارزشیابی سنجش کلاسی عادلانه در دانشگاه تهران: مطالعه به روش آمیخته اکتشافی

عدالت یک کیفیت مهم سنجش کلاسی است که بر باورها، ذهنیت، انگیزش، رضایتمندی و عملکرد یادگیرندگان اثر میگذارد. هدف اصلی این پژوهش ساخت روبریکی برای ارزشیابی عدالت در سنجش کلاسی بود. بدین‌‌منظور مبتنی بر روش پژوهش آمیخته اکتشافی از نوع ساخت ابزار دو مطالعه به انجام رسید که در مطالعه اول با استفاده از نمونه‌گیری هدفمند از نوع ملاکی 29 مصاحبه با دانشجویان دانشگاه تهران و با استفاده از نمونه گیری سهمیه ای غیر نسبی 10 مصاحبه با اعضای هیات علمی دانشگاه تهران انجام شد. در مطالعه دوم، از میان دانشجویان دانشگاه تهران تعداد 511 نفر از طریق نمونه‌گیری خوشه‌ای سه‌مرحله‌ای انتخاب شدند. تحلیل داده‌های کیفی به شناسایی مدلی مفهومی شامل چهار مضمون اصلی «عدالت رویه ای»، «عدالت تعاملی»، «ماهیت سنجش» و «عدالت در آزمون کتبی» مبنای تدوین ملاک ها و ساخت روبریک انجامید. در مطالعه دوم، ویژگی‌های روان‌سنجی روبریک با استفاده از روایی محتوایی، تحلیل گویه ها، روایی سازه و تعیین پایایی بررسی شد. روایی محتوایی هر یک از ملاک ها بالاتر از مقدار معیار 0.78 و روایی مقیاس کلی 0.94به دست‌آمد. نتایج تحلیل عاملی اکتشافی نشان دهنده استخراج سه عامل عدالت‌ رویه ای، ماهیت سنجش و عدالت تعاملی بود که در مجموع 57.08 کل واریانس متغیرها را تبیین می کردند. نتایج تحلیل عاملی به همراه بررسی ضرایب تمیز و دشواری گویه‌ها منجر به حذف سه ملاک ضعیف شد و روبریک با 17 ملاک نهایی گردید. آلفای کرونباح محاسبه‌شده برای عدالت رویه‌ای، ماهیت سنجش و عدالت تعاملی به‌ترتیب 0.87، 0.84و 0.79به دست آمد. همچنین ضریب بازآزمایی برای آن ها در حد مطلوب و به ترتیب 0.65، 0.63و 0.54محاسبه شد. بررسی ویژگی های فنی روبریک نشان داد که میتوان به عنوان ابزاری روا و معتبر برای ارزشیابی کیفیت سنجش عادلانه در کلاس درس استفاده شود.

construction of a rubric to evaluate fair classroom assessment at the university of tehran: an exploratory mixed method study

introduction fairness is an important quality of classroom assessment as a continuous process that affects learners' beliefs, mentality, motivation, satisfaction, and performance. the main purpose of this study was to construct a rubric for evaluating fairness in classroom assessment. method for this purpose, based on an exploratory sequential mixed methods design, two studies were conducted. in the first study, using purposive and non-proportional quota sampling, 29 students and 10 faculty members of the university of tehran were selected, respectively. a group interview and a focus group interview were also conducted and in the second study, 511 students from the university of tehran were selected through three-stage cluster sampling. qualitative data analysis led to the identification of a conceptual model including the four main themes of procedural fairness, interactional fairness, nature of assessment and fairness in the paper-pencil test as the basis for the development of criteria and making rubric. in the second study, the psychometric properties of rubric were investigated using content validity, item analysis, construct validity and reliability determination. results the content validity of each criterion was higher than the standard value of 0.78 and the validity of the overall scale was 0.94. the results of exploratory factor analysis showed the extraction of three factors of procedural fairness, the nature of measurement and interactional fairness, which explained 57.08% of the total variance of variables. the results of factor analysis along with the study of discrimination and difficulty coefficients of items led to the elimination of three weak criteria and the final rubric was compiled with 17 criteria. the calculated cronbach's alpha for procedural fairness, the nature of assessment and interactional fairness were 0.87, 0.84 and 0.79, respectively. also, the retest coefficient for them was calculated at the desired level and 0.65, 0.63 and 0.54, respectively. discussion according to the desirable psychometric properties of the rubric, this rubric can help to increase the literacy of professors, increase the quality of teaching and assessment and strengthen the civic and educational behaviors of students by identifying the strengths and weaknesses of professors in the field of fairness.