مقایسه ارزیابی مقالات کوتاه استدلالی دانشجویان توسط ارزیاب انسانی و مدل هوش مصنوعی

در سال های اخیر، امکان ارزیابی تکالیف دانشجویان با کمک هوش مصنوعی فراهم شده است. هدف پژوهش حاضر مقایسه کیفیت ارزیابی انجام شده توسط یک ارزیاب انسانی (معلم درس مربوطه) و مدل هوش مصنوعی (جمنای) است. از این رو، به این منظور بخشی از مقاله های کوتاه استدلالی تولید شده توسط دانشجویان در طول یک ترم تحصیلی توسط مدرس درس مربوطه، و همچنین هوش مصنوعی نمره گذاری و سپس با استفاده از روش های تحلیل محتوای کمی مورد مقایسه قرار گرفت. بر این اساس، جامعه پژوهش عبارت بود از کلیه مقالات کوتاه استدلالی تولید شده توسط دانشجویان رشته علوم تربیتی دانشگاه خوارزمی، که از این بین، ابتدا 21 مقاله به صورت تصادفی انتخاب، و با استفاده از یک روبریک کدگذاری توسط مدرس درس مربوطه، و مدل هوش مصنوعی مورد تحلیل محتوای کمی قرار گرفت. سپس نتایج حاصل از تحلیل محتوای کمی با استفاده از ضریب کاپا و آزمون همبستگی اسپیرمن به منظور بررسی میزان توافق بین دو دسته کدگذاری مورد تحلیل قرار گرفت. نتایج ضریب توافق کاپا حاکی از توافق قابل توجه و نسبتاً کاملی بین دو منبع ارزیابی بود. همچنین ضریب همبستگی نسبتاً بالایی بین نمرات اخذ شده دانشجویان از این دو منبع وجود داشت. این نتایج از این جهت که می تواند به درک ما از کیفیت ارزیابی انجام شده توسط مدل هوش مصنوعی و انسان منجر شود دارای اهمیت است.