رتبه‌بندی و ربط مقالات در پایگاه‌های اطلاعاتی نورمگز و رایسِست

هدف: هدف این پژوهش سنجش ربط و رتبه‌ بندی مقالات در دو پایگاه نورمگز و رایسِست است. روش شناسی: پژوهش حاضر کاربردی است که با روش ارزیابانه انجام شد. نمونه آماری پژوهش شامل 390 مقاله فارسی بازیابی‌شده در هر یک از پایگاه ‌های نورمگز و رایسِست بود. برای مقایسه رتبه ‌بندی سیستم با رتبه ‌بندی کاربر از آزمون همبستگی اسپیرمن استفاده شد. تجزیه و تحلیل داده‌ها با استفاده از روش‌های آمار توصیفی و استنباطی و با استفاده از نرم‌افزارspss انجام گرفت. برای تعیین میزان دقت بازیابی مدارک مرتبط در دو پایگاه از فرمول دقت فاصله‌ ای و برای بررسی کیفیت رتبه ‌بندی مقالات از فرمول رتبه متقابل مورد انتظار استفاده شد. یافته‌ها: نتایج نشان داد میزان آشنایی و استفاده کاربران از رایسِست خیلی کم تر از پایگاه نورمگز است. در پایگاه نورمگزرتبه‌بندی کاربران به رتبه‌بندی سیستم بیشتر نزدیک است. کیفیت رتبه ‌بندی در این پایگاه نسبتاً بهتر از رایسِست است. همچنین میزان دقت ربط مقالات نورمگز بیشتر است و از دید کاربران، پایگاه نورمگز مدارک مرتبط‌‌‌‌ تری بازیابی کرده است. نتیجه‌گیری: الگوریتم ‌ها و قابلیت ‌های جدید نورمگز باعث افزایش میزان ربط و رتبه ‌بندی بهتر در بازیابی مقالات شده است.

Ranking and Relevance in Noormags and RICEST Databases

Purpose: The main purpose of information retrieval systems is to retrieve relevant information for users. This means that the results of the search must answer the questions provided to the system. Therefore, the evaluation of relevance is very important in such systems. In addition to relevance, the order and placement of articles are also important to the user. The retrieval systems should put more relevant articles at the top of the retrieval list. Evaluating the quality of ranking performance is a key activity in the field of information retrieval. This article assesses relevance and ranking of two databases. Methodology: The sample includes 390 Persian articles retrieved in each of the Noormags and RICeST databases. For each topic inquired were carried out in both databases in two phases within the span of one month. The first 10 articles retrieved from each database were recorded based on the system ranking. Relevance score was given by 3 subject specialists within the range of zero to ten. Spearman correlation test was used to compare the ranking of the system with the ranking of the user. Data analysis was performed using descriptive and inferential statistics using SPSS software. The distance precision formula carried out to check the accuracy of the retrieval precision of related documents in the two databases, and the expected Reciprocal Rank was used to evaluate the quality of the ranking of articles. Results: Users were far less familiar with RICeST database. Significant, consistent, and moderate correlation was found between system rankings and user rankings at the Noormags database in the first phase, i. e., ranking by users increases or decreases as the system rank increases or decreases. We found significant, consistent, and strong correlation between system’s ranking and user ranking in Noormags in the second phase. However, there was no correlation between system ranking and user ranking in RICeST database in both the first and second phases. Therefore, Noormags database ranking was found closer to the users’ ranking. Ranking quality by Noormags was relatively better than that of RICeST. Also, accuracy of the relevance precision of Noormags articles was higher than RICeST. From the users' point of view, Noormags database retrieved more relevant documents. Conclusion: Noormags' new algorithms and capabilities have increased the relevance and ranking of its output. The findings could help database administrators to upgrade their databases by taking advantage of technologies to make semantic retrieval possible.