مروری بر پژوهش‌های ارزیابی موتورهای کاوش عمومی: رویکرد کمی، کیفی و ترکیبی

مقدمه: امروزه ارزیابی نظام‌های بازیابی اطلاعات به‌ویژه موتورهای کاوش به یکی از مهم‌ترین پژوهش‌ها در حوزه علوم اطلاعات تبدیل شده است. با وجود این پژوهشی که به مرور پژوهش‌های ارزیابی موتورهای کاوش بپردازد، مشاهده نشد. از این‌رو، هدف از این پژوهش آن است تا تحلیلی از پژوهش‌های ارزیابی موتورهای کاوش با استفاده از روش‌های پژوهش کمی، کیفی و ترکیبی ارائه شود.روش‌شناسی: این پژوهش مطالعه‌ای مروری است که برای مرور مقالات مرتبط، واژه‌های «ارزیابی موتورهای کاوش»، «ارزیابی موتورهای جستجو» «ارزیابی نظام بازیابی اطلاعات»، «ارزیابی ربط»، «موتور کاوش»، «موتور جستجو» در پایگاه‌های اطلاعاتی مگ ایران و سید جستجو شد. همچنین واژه‌های «evaluation search engine»، «evaluation information retrival»، «method and information retrieval»، «research and search engine» و «relevance» در گوگل اسکالر جستجو شد و سپس مقالات بازیابی شده مطالعه گردیدند. در نهایت، پژوهش‌های ارزیابی موتورهای کاوش عمومی منتشر شده به زبان فارسی و انگلیسی از سال 1377(1998) تاکنون با استفاده از روش کتابخانه‌ای و با رویکردی تحلیلی بررسی شده است.یافته‌ها: یافته‌ها نشان داد که در پژوهش‌های بررسی شده، ارزیابی موتورهای کاوش با یکی از رویکردهای کمی، کیفی و ترکیبی انجام شده است. از حوزه‌های پژوهشی رویکرد کمی می‌توان از موضوع‌هایی چون پوشش و همپوشانی، کیفیت چکیده‌سازی و نمایه‌سازی، الگوریتم بازیابی، نظام توصیه‌گر، رابط کاربری و کیفیت رتبه‌بندی مدارک در موتورهای کاوش نام برد. در رویکرد کیفی نیز دو نوع پژوهش قوم‌نگاری و نظریه زمینه‌ای مشاهده شد که در پژوهش‌های قوم‌نگاری به توصیف رفتار اطلاع‌یابی کاربران پرداخته شده است. در نوع دیگر از رویکرد کیفی یعنی نظریه زمینه‌ای دو حوزه پژوهشی پایبند به اصول کیفی و نیمه‌پایبند به اصول کیفی قابل تشخیص است. از این‌رو یورلند (2010)، پژوهشگرانی را نقد کرده است که پژوهش‌های خود را متعلق به رویکرد کاربرگرایی و کیفی می‌دانند ولی از کلیه اصول خود پیروی نکرده‌اند.نتیجه‌: همان‌گونه که در حوزه روش پژوهش، ابتدا روش کمی و سپس روش کیفی مطرح شده است و در نهایت روش ترکیبی برای استفاده از نقاط قوت هر دو روش ارائه شده است. به نظر می‌رسد که این‌ روند تغییر در روش­های پژوهشی از کمی به کیفی و سپس از کیفی به ترکیبی بر ارزیابی بازیابی اطلاعات به‌ویژه موتورهای کاوش نیز تاثیرگذار بوده است؛ زیرا در پژوهش‌های بازیابی اطلاعات نیز ابتدا رویکرد نظام‌گرا در ارزیابی نظام‌های بازیابی اطلاعات مطرح شده است و سپس برخی از پژوهشگران این‌ رویکرد را به نقد کشیده‌اند که در نتیجه رویکرد کاربرگرایی در توجه به کاربران ارائه شده است و در سال‌های اخیر نیز پژوهشگرانی چون ساراسویک (2007) و ثورنلی (2012) توجه به هر دو رویکرد را ضروری دانسته و به رویکرد دوگان محوری در پژوهش‌های ارزیابی بازیابی اطلاعات اشاره کرده‌اند.

Review of Search Engine Evaluation Researches: a Quantitative, Qualitative and Mixed Approach

Introduction: Today, the evaluation of information retrieval systems, especially search engines, has become one of the most important studies in the field of information science. Nevertheless, a research as a review research on the evaluation of search engines was not observed. So, the aim is to analyze the related literature of information retrieval evaluation field using quantitative, qualitative and mixed approaches.Methodology: This research is a review study to review the related articles. The terms »arzyabieh motor kavosh«,»arzyabieh nezam bazyabieh ettlaat«,»arzyabieh rabt«,»motor kavosh«,»motor jostejo« in the Magiran and SID database were searched. Also, the terms »evaluation search engine»،«evaluation information retrival»،«method and information retrieval«, »research and search engine« and »relevance« in the google scholar was searched and then the retrieved articles were studied. Finally, the research on the evaluation of general search engines published in Persian and English from 1998 have been studied using a library method and an analytical approach..Results: The results showed that, in the reviewed studies, the search engines evaluation has conducted through one of the quantitative, qualitative and mixed approaches. In the quantitative approach, there are several research categories such as coverage and overlap, abstracting and indexing quality, retrieval algorithms, recommender systems, interface and document ranking quality. In the qualitative approach, there has been observed two kinds of studies which include ethnography and grounded theory. In the ethnography research, the users’ information retrieval behavior is described. In the other category, namely grounded theory, two research areas may be identified; one is fully committed to the qualitative principles and another semicommitted to them. Hence, Hjorland (2010) has criticized researchers who regard their research as a &functional& and qualitative approach, but did not follow all of their principles.Conclusion: As in the research methodology, first, a quantitative method and then a qualitative method are proposed and finally, a mixed method is proposed to use the strengths of both methods. It seems that this process of change in research methods from quantitative to qualitative, and then from qualitative to composite has also affected the evaluation of information retrieval, especially search engines. In data retrieval research, a systematic approach has been initially introduced in evaluating information retrieval systems. Then some researchers have criticized this approach, which is the result of a useroriented approach. In recent years, researchers such as Saracevic (2007) and Thoronley (2012) have considered both approaches as necessary ones and pointed to a dualaxis approach to data retrieval assessment research.