تعیین میزان قابلیت اطمینان در سیستم‌های پرسش و پاسخ تعاملی به کمک رگرسیون خطی

ارزیابی سیستم‌های پرسش و پاسخ تعاملی به‌منظور تعیین و ارتقای کارایی آن‌ها از اهمیت زیادی برخوردار است. با وجود این، هنوز روش استاندارد و مخصوصی برای ارزیابی این سیستم‌ها ارائه نشده است. در ارزیابی یک سیستم پرسش و پاسخ تعاملی معیارهای زیادی تاثیرگذار است. یکی از این معیارها قابلیت اطمینان است. تلاش‌های اندکی در راستای اندازه‌گیری اتوماتیک و تعیین دقیق معیارهای قابلیت اطمینان در سیستم پرسش و پاسخ تعاملی با به‌کارگیری مدل‌های گوناگون صورت گرفته است. در این مقاله، یک روش جدید جهت اندازه‌گیری قابلیت اطمینان با استفاده از ایجاد مجموعه معیارهای تاثیرگذار بر قابلیت اطمینان اعم از معیارهای کیفی و کمی به‌ کمک رگرسیون ارائه شده است. در این روش، ابتدا لیستی از ویژگی‌های کیفی و کمی تاثیرگذار جمع‌آوری و سپس، با توجه به ضوابط تعیین‌شده هشت ویژگی کمی انتخاب شدند. سپس، بر اساس پرسشنامه تهیه‌شده، ضرایب تاثیر سوالات تعیین و با ترکیب این ویژگی‌ها طبق رابطه پیشنهادی قابلیت اطمینان اندازه‌گیری شد. ارزیابی عملکرد مجموعه معیارهای انتخابی بر روی چهار سیستم پرسش و پاسخ تعاملی نشان داد که با به‌کارگیری این مجموعه معیارها، امکان اندازه‌گیری قابلیت اطمینان برای یک سیستم پرسش و پاسخ فراهم شده است.

Determining Reliability in Interactive Question Answering Systems by Regression

Nowadays, the increasing amount of information available online has led scientists to develop technologies to use and deal with it, of which one is Interactive Question Answering (IQA) systems. One of the most important criteria in the assessment of these systems is reliability. Research results in this field have shown that evaluation of reliability in IQA plays an important role to determine the effectiveness of these systems. During the process of reliability evaluation of an IQA system, several features are considered. Few attempts have been made to measure the reliability and accurate determination of reliability criteria in interactive question answering systems.In this paper, a novel method is proposed to determine the percentage of reliability by using a set of criteria affecting including qualitative and quantitative criteria. In the proposed method, first, a list of qualitative and quantitative characteristics is collected and according to the criteria set, eight quantitative characteristics are selected. Then, based on the prepared questionnaire, the coefficients of the impact of each question are calculated. According to the proposed relationship and by combining these characteristics the percentage of reliability is measured. The evaluation of the performance of the selected criteria, on four interactive question answering indicates that by applying this set of criteria the reliability of an interactive question answering system can be used to automate the calculation of this feature in the evaluation process.