معیارهای ارزیابی ربط در نظام‌های بازیابی اطلاعات: دانسته‌ها و ندانسته‌ها

ارزیابی نظام‌های بازیابی اطلاعات یکی از چالش‌های بزرگ متخصصان علم اطلاعات است؛ چون تعیین کارایی یک نظام به قضاوت در مورد ربط مدارک ارایه‌شده با نیاز اطلاعاتی کاربر بستگی دارد و این موضوع دارای پیچیدگی‌های خاصی است. از طرف دیگر، نظام‌های بازیابی وبی، بسیار متفاوت‌تر از نظام‌های بازیابی سنتی هستند. در محیط وب با نظام‌هایی با مجموعه‌های رتبه‌بندی‌شده و نیز با نظام‌هایی با مجموعه‌های رتبه‌بندی‌نشده مواجه هستیم که هر کدام معیار و مقیاس ارزیابی خود را دارند. به‌ همین دلیل، سنجش ربط بر اساس نوع رتبه‌بندی نتایج در این نظام‌ها متفاوت است. در این مقاله معیارهای سنجش ربط در نظام‌های بازیابی اطلاعات به تفکیک نظام‌های رتبه‌بندی‌نشده (شامل دقت، بازیافت، معیار اِف) و نظام‌های رتبه‌بندی‌شده (شامل منحنی‌های دقت و بازیافت، دقت افزوده، میانگین دقت افزوده در نقطه 11، میانگین دقت متوسط، دقت در k، دقتr و منحنی roc و افزایش تجمعی) تشریح شده و ضمن اشاره به مقیاس‌های ارزیابی ربط، یک مقیاس ارزیابی دقت 4 درجه‌ای معرفی گردیده‌ است که با استفاده از آن می‌توان به ارزیابی غیردودویی دقت در نظام بازیابی اطلاعات وب شامل دقت کامل، برتر، مفید، واقعی و در نهایت دقت متغیر پرداخت.