اعتبارسنجی پاسخ‌ها در سیستم پرسش و پاسخ با استفاده از رگرسیون ماشین بردار پشتیبان

سیستم پرسش و پاسخ شکل خاصی از بازیابی اطلاعات است. با در نظر گرفتن مجموعه‌ای از اسناد (مانند شبکه جهانی وب یا یک مجموعه محلی) سیستم باید بتواند پاسخ پرسش‌های مطرح‌شده به زبان طبیعی را بازیابی نماید. سیستم‌های پرسش و پاسخ به‌صورت متداول از بخش های پردازش و تجزیه پرسش، تولید عبارت جست‌وجو، بازیابی اطلاعات، استخراج پاسخ‌ و رتبه‌بندی پاسخ‌ تشکیل‌شده است. یکی از علل کاهش کارایی سیستم های پرسش و پاسخ، پایین بودن دقت انتخاب پاسخ های مناسب به پرسش کاربران است. به وسیله ی اعتبارسنجی مناسب پاسخ ها می توان این مشکل را حل نموده و کارایی سیستم پرسش و پاسخ را ارتقا داد. در این پژوهش از رگرسیون ماشین بردار پشتیبان (svr) برای اعتبار سنجی و رتبه بندی پاسخ ها استفاده‌شده است. الگوریتم رگرسیون ماشین بردار پشتیبان با کمینه نمودن ریسک عملیاتی، خطر افتادن در کمینه های محلی را بر طرف می کند. برای ارزیابی کارایی سیستم پیشنهادی از مجموعه پرسش های trec و پرسش های ویکی پدیا استفاده گردیده است. در این پژوهش از معیارهای میانگین رتبه بندی معکوس و معیار f برای ارزیابی سیستم پیشنهادی استفاده گردیده است. بر اساس نتایج حاصل از آزمایش‌ها، مقادیر به دست آمده برای این معیارها توسط سیستم پیشنهادی به ترتیب 81% و 49.7% بوده است. سیستم پیشنهادی در مقایسه با سیستم بدون رتبه بندی پاسخ و سیستم مبتنی بر رتبه بندی پاسخ با شبکه عصبی از کارایی مناسب تری برخوردار است. همچنین سیستم پیشنهادی در مقایسه با پژوهش های پیشین دارای میانگین رتبه بندی معکوس بهتری می باشد.

Answer Validation in Question-Answering System using Support Vector Machine

Questionanswering system is a special type of information retrieval system. Considering a set of documents (such as Web or local set of documents), the system should answer the questions asked in the natural language form. Questionanswering systems generally consist of question processing and analysis, keyword generation, information retrieval, answer extraction, and answer validation. In such systems, selecting proper answers for user question is an important task which influences performance of the whole system. An appropriate answer validation technique can increase the performance of the questionanswering system. In this study, Support Vector Regression (SVR) is employed in order to perform answer validation. SVR eliminates the risk of getting stuck in local minima by reducing the operational risk. The proposed system is applied on some of the TREC and Wikipedia questions repositories. In order to evaluate performance of the proposed system, following measures are calculated: Mean Reciprocal Ranking (MRR) and Fmeasure. Based on experimental results, the proposed system achieved 81% MRR and 49.7% Fmeasure which shows higher performance than systems with no answer validation and also systems using neural networkbased answer validation.