بررسی جنبه‌های امنیتی در مولفه‌ها و معماری جویش‌گرهای بومی

امروزه با رشد شبکه های رایانه ای و افزایش فزاینده محتوا روی اینترنت، تقاضا برای تماشا و جستجوی محتواهایی مثل ویدیو، موسیقی، فایل ها و اسناد زیاد شده است و جویش گرها یکی از عواملی هستند که در زمینه جستجو به هر تقاضایی از طرف کاربران پاسخ می دهند و به آنها کمک می کنند تا سریع تر به اهداف خود برسند. جویش گرها علاوه بر مزیت های بسیاری که دارند در صورت طراحی و پیکربندی ضعیف مولفه های خزش گر، نمایه ساز و رتبه بند، عملکرد نادرستی خواهند داشت و منجر به افشای اطلاعات محرمانه کاربران و وب گاه ها، ارائه نتایج غیر مرتبط و آلوده و غیر امن شدن معماری جویش گر می شوند؛ از این رو توجه به مسائل و جنبه های امنیتی مولفه ها در معماری جویش گرها، از جمله جویش گرهای بومی یکی از الزامات اساسی برای آنها محسوب می شود. مهم ترین بخش هایی که باید امنیت آنها در معماری جویش گرهای بومی تضمین شود، شامل مولفه خزش گر (سیاست های خزش گر، فاکتورهای طراحی، حملات تزریق کد، دسترس پذیری خزش گرها و پایگاه داده خزش گرها)، مولفه نمایه ساز (واحد جستجو، پایگاه داده نمایه ساز، سازوکار های نمایه سازی، فاکتورهای طراحی) و مولفه رتبه بند (سیاست های رتبه بندی، سیاست های دفاعی در برابر وب سایت های آلوده، بهینه سازی منفی جویش گرها یا سئو منفی یا به عبارت بهتر سئو کلاه سیاه) است. محورهای اصلی این مقاله در ابتدا به تهدیدها و آسیب پذیری های مولفه های اصلی جویش گرهای بومی پرداخته است؛ سپس در همین راستا الزامات و سیاست های امنیتی برای سه مولفه اصلی خزش گر، نمایه سازی و رتبه بند که منجر به امن سازی معماری جویش گرهای بومی می شود، ارائه شده است.

Survey Security Aspects in Components and Architecture Local Search Engines

Nowadays, with burgeoning of computer networks and content on the internet, the demand is high for watching and searching contents like videos, music, files and documents and search engines, one of the factors that responds to the demands of the users and give them help to reach their goals faster. Also, the search engines, which have many advantages in the mistake design and configured components crawler, indexer and ranking, is malfunction that leads to the disclosure of confidential information users and websites, providing irrelevant and pollution results and nonsecure search engines architecture. Therefore, considering the security problems and prospects components in the architecture of search engines, including local search engines is essential. The main parts that should guarantee their security in the architecture of local search engines is inclusion of the crawler (crawl policies, design factors, code injection attacks, crawler availability, crawler database), the indexer (search module, indexer database, indexing mechanisms, design factors) and the ranking (ranking policy, negative Search Engine Optimization (SEO)). The main topics of this article at first the threats and vulnerabilities main components in local search engines are studied, then requirements and security policies is provided for the three major components that leads to local search engines with secure architecture.