مجموعه‌ای از ویژگی‌های آماری جدید برای ارزیابی سیستم‌های پرسش و پاسخ تعاملی

ارزیابی نقش مهمی در سیستم‌های پرسش و پاسخ تعاملی ایفا می‌نماید. روش استانداردی وجود ندارد که به ارزیابی کلی این سیستم‌ها پرداخته باشد. مشکل اصلی در طراحی این سیستم‌ها، عدم امکان پیش‌گویی بخش تعاملی است. به همین منظور، باید انسان در فرآیند ارزیابی شرکت داشته باشد. در این مقاله مجموعه‌ای از ویژگی‌های آماری جدید ساخته‌شده بر اساس nگرم‌ها و بزرگ‌ترین رشته مشترک برای ارزیابی سیستم‌های پرسش و پاسخ تعاملی معرفی‌شده است. چهار سیستم پرسش و پاسخ تعاملی موجود برای ایجاد پایگاه داده‌ای از مکالمات ردوبدل شده بین کاربران و سیستم‌ها استفاده گردید. خروجی‌های تولیدشده، تعداد 540 نمونه به‌عنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ایجاد گردد. سپس پیش‌پردازش بر روی متن‌ها صورت پذیرفت و ویژگی‌های تعریف‌شده از متن مکالمه‌ها استخراج و بر اساس آن ماتریس ویژگی تشکیل گردید. درنهایت با استفاده از ماشین بردار پشتیبان به دسته‌بندی نظرات به دو گروه با امتیاز خوب و بد پرداخته شد. نتایج حاصل از ضریب همبستگی بین نظرات انسانی و نظرات حاصل از ویژگی‌های پیشنهادی حاکی از دقت بالای مجموعه ویژگی‌های ارائه‌شده، در ارزیابی سیستم‌های پرسش و پاسخ تعاملی است.

A Set Statistical features for Evaluating Interactive Question Answering

: Evaluation plays an important role in the interactive question answering(IQA) systems. In the context of evaluating IQA systems, there is practically no specific methodology for evaluating these systems in general. The main problem with designing an assessment method for IQA systems lies in the fact that is rarely possible to predict interaction part. To this end, human needs to be involved in the evaluation process. In this paper, an appropriate model is presented by introducing a set of builtin features for evaluating IQA systems. To conduct the evaluation process, four IQA systems were considered, and then a database of conversation was exchanged between users and systems. After performing the preprocessing on the conversation, the statistical characteristics of the conversation was extracted and base on that characteristics matrix was formed. Finally, using SVM, human thinking divided into two groups. The correlation coefficient between human thinking and proposed set features indicated the high accuracy of set features presented in evaluating of IQA systems.