سنجش رتبه‌بندی سامانه‌های پیشنهاددهندۀ مقاله در تقابل با رتبه‌بندی کاربران

هدف: سامانه‌های پیشنهاددهنده مقاله‌های علمی در تلاش‌اند به‌جای الزام کاربر به اصلاح راهبرد جستجو و فرمول‌بندی واژگان پرسش، الگوریتم‌ها و رویکردهای مناسب را برای عرضه مرتبط‌ترین مدارک به‌کار گیرند. علاوه بر ربط، رتبه‌بندی مدارک بازیابی‌شده نیز می‌تواند رضایت کاربران را تضمین کند. این مقاله نتیجه تحلیل رتبه‌ مقاله‌ها را در سامانه‌های پیشنهاددهنده پایگاه وب‌آوساینس و موتور جستجوی گوگل‌اسکالر از دیدگاه کاربران و سنجه (ndcg) normalized discounted cumulative gain گزارش می‌کند. روش‌شناسی: از 120 دانشجوی داوطلب دکترای دانشگاه شیراز در رشته‌های علوم انسانی، علوم پایه، فنیمهندسی، کشاورزی، و دام‌پزشکی (از هریک 30 نفر) خواسته شد 2400 مقاله (1200 مقاله پیشنهادی گوگل‌اسکالر و 1200 مقاله پایگاه وب‌آو‌ساینس) را به‌لحاظ ربط، رتبه‌بندی کنند. داده‌ها با پرسشنامه و نرم‌افزار پژوهشگرساخته گردآوری شد. یافته‌ها: میان رتبه‌ انتسابی کاربران و رتبه انتسابی پایگاه شباهت ضعیف بود. شباهت رتبه‌بندی مقالات در سامانه‌های هر دو پایگاه نیز ضعیف، اما معنادار بود.الگوریتم‌ها و شاخص‌های سامانه‌های پیشنهاددهنده هر دو پایگاه برای رتبه‌بندی چندان موفق نیست و نیاز به بازنگری دارد. نتیجه‌گیری: الگوریتم‌ها و شاخص‌هایی که سامانه پیشنهاددهنده دو پایگاه برای رتبه‌بندی مقاله‌های مرتبط پیشنهادی درنظر گرفته‌اند، در تامین رضایت کاربران زیاد موفق نبوده است؛ بنابراین بازنگری در الگوریتم‌های رتبه‌بندی این دو پایگاه ضروری به‌نظر می‌رسد.

Article Ranking by Recommender Systems vs. Users’ Perspectives

Purpose: To compare the rankings of articles by Google Scholar and Web of Science recommender systems against users’ perspectives. Methodology: 120 PhD candidates of Shiraz University in the fields of humanities, sciences, engineering and agriculture, (30 from each field) voluntarily participated in the study. They were asked to introduce three articles had recently read for their thesis. One of the three which was indexed by both databases was chosen and named as the core article. For each core article 10 recommended articles recommended by each recommender system were retrieved (2,400 overall). Using imitating software exclusively designed for this study, participants were asked to rank the articles retrieved by the two recommender systems for their core articles. Normalized Discounted Cumulative Gain (NDCG) measure was employed for analysis. Findings: There was a noticeable but weak relationship between the users’ assigned rankings and the rankings of Google Scholar and Web of Science databases. Correlation between the rankings of both databases with NDCG measure was also weak. Conclusion: The algorithms used for ranking by both recommender systems hardly in matched that of the users. Therefore, ranking algorithms of both databases may need some revision.