مطالعه مروری سنجه‌های رتبه‌بندی و غیر رتبه‌بندی تعیین کارآمدی موتورهای کاوش

هدف: هدف پژوهش حاضر، تحلیل سنجه‌های مهم و جدید ارزیابی برای بکارگیری در موتورهای کاوش به منظور ارائه نتایج دقیق است.روش: مقاله حاضر، مقاله‌ای مروری است و برای گردآوری مقاله‌ها کلیدواژه‌های سنجه‌های ارزیابی، ارزیابی موتورهای کاوش، ارزیابی نظام‌های بازیابی اطلاعات، سنجه‌های ارزیابی ربط در گوگل اسکالر و پایگاه‌های اطلاعاتی مگ ایران و سید جستجو و مقاله‌های مرتبط تهیه شد. در این مطالعه از رویکرد توصیفی تحلیلی استفاده شد تا سنجه‌های مهم موتورهای کاوش مرور شود.یافته‌ها: با مرور سنجه‌های مختلف ارزیابی موتورهای کاوش ، سه گروه از سنجه‌ها شناسایی شد. می‌توان سنجه‌های دقت، بازیافت را در گروه غیر رتبه‌بندی قرار دارد که متاثر از رویکرد نظام‌گرایی است. از طرف دیگر، گروه رتبه‌بندی شامل سنجه‌های متوسط فاصله، سود تجمعی تعدیل یافه نرمال، سنجه کارآمدی رتبه‌بندی و بی پرف است که رویکرد کاربرگرایی در مطرح شدن این سنجه‌ها موثر بوده است. اگرچه سنجه جامعیت با هدف در نظر گرفتن کاربر ارائه شده است؛ اما به نظر می‌رسد که در عمل به صورت کامل به هدف خود نرسیده است. افزون براین، همانگونه که در پژوهش‌های بازیابی اطلاعات، رویکرد سومی نیز مطرح شده است که بر تعامل و یگانش دو رویکرد نظام‌گرا و کاربرگرا اشاره دارد، در سنجه‌های ارزیابی موتورهای کاوش نیز، دو سنجه اتحاد جاکارد و اتحاد کسینوسی برگرفته از رویکرد سوم هست.نتیجه‌گیری: برای تعیین موتور کاوش کارآمد پیشنهاد می‌شود که پژوهشگران هنگام ارزیابی نظام‌های بازیابی اطلاعات در پژوهش‌های خود، سنجه‌هایی را از هر سه گروه یاد شده انتخاب نمایند.

Review of Ranked and Unranked-based Metrics for Determining the Effectiveness of Search Engines

Purpose: There are several metrics for evaluating search engines. Though, many researchers have proposed new metrics in recent years. Familiarity with new metrics is essential. So, the purpose is to provide an analysis of important and new metrics to evaluate search engines.Methodology: This review article critically studied the efficiency of metrics of evaluation. So, ldquo;evaluation metrics, rdquo; ldquo;evaluation measure, rdquo; ldquo;search engine evaluation, rdquo; ldquo;information retrieval system evaluation, rdquo; ldquo;relevance evaluation measure rdquo; and ldquo;relevance evaluation metrics rdquo; were investigated in ldquo;MagIran rdquo; ldquo;Sid rdquo; and Google Scholar search engines. Articles gathered to inspect and analyse existing approaches in evaluation of information retrieval systems. Descriptiveanalytical approach used to review the search engine assessment metrics.Findings: Theoretical and philosophical foundations determine research methods and techniques. There are two wellknown ldquo;systemoriented rdquo; and ldquo;useroriented rdquo; approaches to evaluating information retrieval systems. So, researchers such as Sirotkin (2013) and Bama, Ahmed, Saravanan (2015) group the precision and recall metrics in a systemoriented approach. They also believe that Average Distance, normalized discounted cumulative gain, Rank Eff and B pref are rooted in the useroriented approach. Nowkarizi and Zeynali Tazehkandi (2019) introduced comprehensiveness metric instead of Recall metric. They argue that their metric is rooted in a useroriented approach, while the goal is not fully met. On the other hand, Hj oslash;rland(2010) emphasizes that we need a third approach to eliminate this dichotomy. In this regard, researchers such as Borlund, Ingwersen (1998), Borlund (2003), Thornley, Gibb (2007) have mentioned a third approach for evaluating information retrieval systems that refer to interact and compose two mentioned approaches. Incidentally, Borlund, Ingwersen(1998) proposed a Jaccard Association and Cosine Association measures to evaluate information retrieval systems. It seems that these two metrics have failed to compose the systemoriented and useroriented approaches completely, and need further investigation.Conclusion: Search engines involve different components including: Crawler, Indexer, Query Processor, Retrieval Software, and Ranker. Scholars wish to apply the most efficient search engines for retrieving required information resources. Each metrics measures a specific component, to measure all, it is suggested to select metrics from all three mentioned groups in their search.