روشی نوین برای دستیابی به تعادل بار بین سرورهای موتور جست وجو با استفاده از تحلیل داده های وب فارسی

هدف اصلی موتورهای جست وجو تهیه ی مرتبط ترین نتایج با پرس وجوی کاربر در کمترین زمان است، برای برآوردن این هدف توزیع متوازن بار بین سرورهای موتور جست وجو امری ضروری است. یکی از مواردی که تاثیر شگرفی بر روی بار اعمالی بر سرورهای یک موتور جست وجو دارد، نحوه ی توزیع اسناد بین سرورها می باشد. روش های توزیع مرسوم که با هدف ایجاد توازن بار پدید آمده اند، از سابقه پرس وجوی کاربران برای شناسایی کلمات پرطرفدار و وزن دهی به آن ها استفاده کرده و ارزش اسناد را متناسب با کلمات تشکیل دهنده ی آن ها مشخص می کنند. در این پژوهش سابقه پرس وجوی موتور جست وجوی پارسی جو و گوگل مورد بررسی قرار گرفتند، نتایج حاصل از این بررسی نشان می دهند که برخی از کلمات در اغلب مواقع در یک ترکیب خاص دیده شده که آن ترکیب بیان گر هدف کاربر است، نه کلمات تشکیل دهنده ی آن. با وزن دهی جداگانه به کلمات احتمال تخصیص ارزش بالا به اسنادی که ارزش کمی داشته و کمتر بازیابی می شوند (و برعکس) وجود دارد. ایده ای که مطرح می شود این است که علاوه بر شناسایی و وزن دهی کلمات به صورت جداگانه، دنباله کلمات تشکیل دهنده ی پرس وجوها نیز شناسایی و وزن دهی شوند تا خطای وزن دهی اسناد حداقل شود. در این مقاله یک معماری از سیستم پیشنهادی نیز ارائه شده است.