تاثیر کمبود و پراکندگی داده بر اثربخشی نتایج سامانه ژورنال‌یاب رایسست؛ مطالعه موردی حوزه فنی و مهندسی

عوامل متعددی از مجموعه‌ عناصر تشکیل‌دهنده سامانه‌های پیشنهاددهنده در تولید و ارائه پیشنهاد دخیل هستند. مطالعه حاضر، با هدف شناخت تاثیر دو چالش کمبود و پراکندگی داده بر اثربخشی نتایج پیشنهادی سامانه ژورنال‌یاب «رایسست» انجام شده است. بدین منظور، بیش از 15000 مقاله از نشریه‌های فنی و مهندسی در بازه زمانی 1392 تا 1396 از وب‌سایت نشریه‌ها گردآوری شد. در مرحله بعد عناصر متنی این مقاله‌ها شامل عنوان، چکیده و واژه‌های کلیدی استخراج، نرمال‏سازی و پردازش شد و پایگاه داده‌پیکره پژوهش ایجاد گردید. بر اساس تعداد مقاله‌های گردآوری‌شده، با استفاده از فرمول «کوکران» تعداد 400 مقاله پایه، که پیش از این در نشریه‌های مرتبط با موضوع منتشر شده بودند، به ‌روش تصادفی-تناسبی انتخاب شد. عنوان و چکیده این مقاله‌ها، به‌منظور دریافت نشریه‌های پیشنهادی سامانه، جهت چاپ مقاله در دو مرحله پیش و پس از بهبود دو چالش کمبود و پراکندگی داده به‌عنوان پرسمان وارد سامانه شد. سپس، نتایج پیشنهادی در هر مرحله در قالب فایل «اکسل» ذخیره گردید. سرانجام، ‌میزان اثربخشی نتایج سامانه در هر مرحله به‌ روش اعتبارسنجی یک‌طرفه و بر اساس معیار دقت در k تعیین شد. فراوانی نسبی رده‌ها نشان داد که در وضعیت موجود، نشریه هدف تنها در 26 درصد از پرسمان‌ها در 3 رتبه نخست پیشنهاد شده است. در راستای بهبود چالش کمبود داده با غنی‌سازی، نرمال‌سازی و پردازش داده‌ها اثربخشی نتایج در 3 رتبه نخست به ‌میزان 15 درصد افزایش یافت. اما همچنان در بیش از 30 درصد پرسمان‌ها، نشریه هدف در رتبه 10 و بالاتر پیشنهاد شده بود. بنابراین، در مرحله بعد، به‌منظور بهبود چالش پراکندگی، دسته‌بندی موضوعی داده‌ها انجام و افزایش 30 درصدی اثربخشی نتایج نسبت به مرحله پیشین در 3 رتبه نخست حاصل گردید. بر این اساس، یکی از عواملی که منجر به کاهش اثربخشی نتایج پیشنهادی سامانه ژورنال‌یاب «رایسست» می‌شود، کمبود و پراکندگی داده‌هاست که با غنی‌سازی پایگاه داده، بهبود فرایند پردازش، و دسته‌بندی موضوعی داده‌ها می‌توان با این دو چالش به ‌میزان قابل توجهی مقابله کرد و اثربخشی نتایج پیشنهادی سامانه را بهبود بخشید.

The Impact of Data Lack and Data Sparsity on the Effectiveness of the Results of the RICeST Journal Finder Results: A Case Study in the Field of Engineering

Several factors are involved in the production and presentation of recommender systems.The aim of this study was to investigate the effect of the two challenges lack and sparsity of data on the effectiveness of the proposed results of the RICeST Journal Finder. The corpus includes more than 15,000 articles from technical and engineering publications in the period 2013 to 2017, which have been collected from their website. Textual elements of these articles were extracted, normalized and processed, and a research body database was created. Based on the number of collected articles, by using Cochran’s formula, 400 basic articles that previously published in related to the topic of each journal were selected in a randomproportional method. Title and abstract of these articles as a query, in order to receive the system journals suggested, to print the article in two stages of before and after improving the two challenges of lack and sparsity of data in the test corpus. The suggested results in each step were saved in Excel. Finally, the effectiveness of the system results in each stage was determined by Leaveoneout CrossValidation method and based on the accuracy criterion in k. The relative abundance of categories showed that, in the current situation, the target journal was suggested in only 26% of searches in the first 3 ranks. After enriching, normalizing and processing the data and thus improving the lack of data challenge, although 30% of the results were still rated above 10; but the accuracy of the results in the first 3 ranks increased by 15%. Also, after thematically categorizing the data with the aim of improving the sparsity challenge, 30% increase in the accuracy of the system results in the first 3 ranks compared to the previous step was achieved. The results of this study showed that enriching the database, improving the processing process and thematic classification of data in RICeST journal finder can reduce the two challengs lack and sparsity of data and increase the effectiveness of the proposed results of this systems.