رویکردهای مورد استفاده در خزنده‌های وب متمرکز: یک مطالعۀ نقشه‌برداری سیستماتیک

امروزه یکی از رایج‌ترین کاربردهای اینترنت، جستجو در وب و بازیابی اطلاعات از آن است. همۀ ما از موتورهای جستجوی عمومی مانند گوگل و بینگ، برای جستجوی روزانۀ اطلاعات استفاده می‌کنیم. خزنده‌های وب، مهم‌ترین بخش یک موتور جستجو هستند که کل محتوای وب را خزیده و با دنبال‌کردن پیوندهای موجود در صفحات وب، محتوا را استخراج می‌نمایند. خزنده‌های وب متمرکز، نوعی از خزنده‌های وب هستند که فرآیند خزیدن را به بخش خاصی از محتوای آنلاین، محدود می‌کنند و در موتورهای جستجوی عمودی استفاده می‌شوند. برای مثال، آنها ممکن است فقط انواع خاصی از رسانه‌ها (مانند فایل‌های پاورپوینت) را بازیابی نمایند.در این مقاله، یک مطالعۀ نقشه‌برداری سیستماتیک انجام شده است و رویکردهای مورد استفاده در توسعۀ خزنده‌های وب متمرکز که در مقالات سال‌های اخیر معرفی گردیده‌اند، بررسی و در مورد مزایا و معایب هر کدام بحث شده است. همچنین، 2 رویکرد جدید از مقالات، شناسایی و معرفی شده است. این مطالعه نشان می‌دهد که رویکرد مبتنی بر «هستی‌شناسی یا معناشناسی»، بیشترین استفاده را در توسعۀ خزنده‌های وب متمرکز دارد. همچنین هر یک از رویکردهای معرفی‌شده، دارای مزایا و معایبی است که تصمیم به استفاده از هر یک، به منابع و محدودیت‌های موجود برای توسعه بستگی دارد.

approaches used in focused web crawlers: a systematic mapping study

today, one of the most common uses of the internet is searching the web and retrieving information from it. we all use general search engines like google and bing to search for information on a daily basis. web crawlers are the most important part of a search engine that crawls the entire web content and extracts the content by following the links on the web pages. focused web crawlers are a type of web crawlers that limit the crawling process to a specific section of online content and are used in vertical search engines. for example, they may only retrieve certain types of media (such as powerpoint files).in this paper, a systematic mapping study has been conducted and the approaches used in the development of focused web crawlers have been reviewed and the advantages and disadvantages of each have been discussed. also, 2 new approaches have been identified and introduced. this study shows that the approach based on ontology or semantics is the most used in the development of focused web crawlers. also, the decision to use each of the introduced approaches depends on the available resources and the existing limitations for development.