مقایسۀ روش‌های معیارگزینیِ نقطه‌گذاری معیار و علامت‌گذاری در دسته‌بندی سطوح عملکرد مطالعه کلان‌مقیاسِ سنجش ریاضی

هدف: معیارگزینی یکی از فنون سنجش برای طبقه‌بندی معتبرِ آزمودنی‌ها است. در این مطالعه، تاثیر استفاده از دو روش معیارگزینیِ نقطه‌گذاری معیار و علامت‌گذاری بر نتایج حاصله از مطالعه کلان مقیاسی تحلیل شد که برای سنجش یادگیری ریاضی پایه ششم در بین دانش‌آموزان شهر تهران اجرا شده بود. روش پژوهش: این روش‌ها روی داده‌های سنجش کلان‌مقیاس استانی که بر 9720 دانش‌آموز پایۀ ششم شهر تهران اجرا شده بود، مقایسه شدند. مشارکت‌کنندگان در این پیمایش در مجموع 264 سوال ریاضی را پاسخ دادند و پاسخ‌های آنان با استفاده از روش مقادیر محتمل تحلیل شدند. یافته‌ها: نتایج نشان دادند که به‌کارگیری روش نقطه‌گذاری معیار باعث می‌شود که به ترتیب 75، 48، 18 و 2 درصد از دانش‌آموزان حداقل نمرات لازم را در سطوح عملکردی پایین، متوسط، بالا و پیشرفته کسب کنند. هم‌چنین، با استفاده از این روش 23/9 درصد از سوالات در همان سطحی قرار گرفتند که توسط کارشناسان موضوعی تعیین شده بودند. در مقابل، مقایسه فاصله میانگین‌های متوالیِ پارامتر جایگاه با انحراف معیار جایگاه در سطوح عملکردی، کیفیت دسته‌بندی اولیه کارشناسان برای استفاده در روش علامت‌گذاری را زیر سوال برد. افزون ‌براین، تاثیر استفاده از پنج احتمال پاسخِ 0/52، 0/57، 0/62، 0/67 و 0/75 بر دسته‌بندی دانش‌آموزان نشان داد که با وجود تاکید پیشینه پژوهشی بر احتمال پاسخِ 0/67، کم‌ترین احتمال پاسخ (0/52) نتایج واقعی‌تری را نسبت به بقیه تولید می‌کند ولی هم‌چنان در مقایسه با روش نقطه‌گذاری معیار، معیار سخت‌گیرانه‌ای به‌نظر می‌رسد. نتیجه‌گیری: باید به معیارگزینی به عنوان یک مبحث فنی در همه سنجش‌هایی که درجه‌بندی یا قبول و ردی یکی از تبعات شرکت در آزمون است، توجه بیشتری شود.

a comparison between benchmarking and bookmarking to classification of performance levels in large-scale study of mathematics assessment

objective: standard setting is one of the assessment techniques to create valid classifications of examinees. in present study, the effect of two standard setting methods, benchmark and bookmarking, was examined in results of a large-scale study, which was planned for assessing mathematics learning in sixth grade students of tehran city.methods: two methods were compared using data of a provincial large-scale assessment which carried out on 9720 sixth grade students in tehran city. they asked 264 mathematics items and their response were analyzed by plausible values. results: results of applying benchmark showed that 75, 48, 18, and 2 percent of students attained minimum scores in low, mediate, high, and advanced levels; respectively. in addition, 23.9 percent of items located in the same level that identified by content experts. in contrast, quality of classification by content experts in bookmarking was critiqued due to comparing of successive averages with standard deviations of location parameters. moreover, effect of using five response probabilities: 0.52, .057, 0.62, 0.67, and 0.75 in classification of students indicated that, in spite of recommendation of response probability 0.67 in literature, the lowest response probability (0.52) produced the most realistic results rather than other response probabilities, however, this is still a strictly standard comparing benchmarking methods.conclusion: standard setting should be considered as a technical issue in all assessments that grading or pass/fail is consequent of the test.