ارزیابی اتوماتیک آزمون‌های تشریحی مبتنی بر رویکردهای محاسباتی و داده کاوی

هدف: نمره‏دهی خودکار آزمون‌های تشریحی فرآیند ارزیابی اتوماتیک پاسخ‌های سوالات مبتنی بر متن با استفاده از روش‌های محاسباتی و یادگیری ماشین است. گسترش استفاده از سیستم‌های آموزشی هوشمند و اهمیت ارزیابی نیاز به سیستم‌های خودکار برای نمره‌دهی آزمون‌ها را بیش از پیش افزایش داده است.روش شناسی پژوهش: با توجه به اینکه در فرآیند نمره‌دهی خودکار، پاسخ‌های متنی ارائه شده توسط دانش‌آموزان با یک پاسخ ایده آل بر اساس میزان شباهت آن‌ها مورد مقایسه قرار می‌گیرد، می‌توان از تکنیک‌های محاسبه ارتباط و شباهت معنایی بین متون نیز برای اینکار بهره برد. در این راستا، در این مقاله ابتدا روش‌های مختلف محاسبه ارتباط معنایی در کاربرد ارزیابی خودکار آزمون‌های تشریحی با هم مقایسه و تاثیر دامنه و اندازه منبع دانش پیش‌زمینه‌ای روی دقت الگوریتم‌ها بررسی شد. در ادامه‌، یک رویکرد برای بهبود عملکرد سیستم نمره‌دهی خودکار آزمون‌های تشریحی معرفی شده که از پاسخ‌های ارائه شده توسط آزمون‌دهندگان که بالاترین نمره را دریافت کرده‌اند، به عنوان بازخورد استفاده می‌کند.یافته‌ها: برای ارزیابی کارایی روش‌های محاسبه شباهت و ارتباط معنایی در کاربرد نمرده‌دهی خودکار آزمون‌های تشریحی و عملکرد مدل پیشنهادی، آزمایشاتی روی مجموعه داده ارائه شده توسط  موهلرو میهالسیا که دارای 7 سوال با 630 پاسخ تشریحی است، صورت گرفت.اصالت/ارزش افزوده علمی:  بر اساس نتایج حاصل از آزمایش‌ها، نه ‌تنها روش‌های محاسبه ارتباط معنایی از کارایی بالایی در حوزه ارزیابی خودکار آزمون‌های تشریحی برخوردارند، بلکه استفاده از از بازخورد اتوماتیک نیز می‌تواند دقت و کارایی روشهای محاسبه ارتباط معنایی برای این هدف به طور قابل توجهی افزایش دهد.

Automatic assessment of short answers based on computational and data mining approaches

Purpose: Automatic short answer grading is known as the task of automatic assessment of answers based on natural language using computation methods and machine learning algorithms. The proliferation of largescale intelligent education systems and the importance of assessment as a key factor in the education process have increased the need for highly flexible automated systems for scoring exams.Methodology: While in the process of automatic short answer grading, student’s answer is compared to an ideal response and scoring is done based on their similarity, semantic relatedness and similarity measures can also be employed for this aim. To this end, several semantic relatedness and similarity measures are firstly compared in application of short answer grading. In the following, a method for improving the performance of short answer grading systems based on semantic relatedness and similarity measures which leverages students’ answers with the highest score as feedback is proposed.Findings: In order to evaluate the performance of semantic and similarity relatedness methods in application of automatic short answer grading and the prposed model, various experiments were concucted on Mohler and Mihalcea dataset that contains 7 questions and 630 answers.Originality/Value: Based on the empirical experiments not only semantic relatedness and similarity measures have great efficiency in automatic short answer grading but also using students’ answers as feedback can considerably improve the accuracy and performance of semantic relatedness and similarity measures for this task.