بررسی و ارزیابی کارایی هادوپ روی برنامه های محاسباتی بزرگ

هادوپ یک تکنولوژی جدید است که در دنیای امروز با وجود داده ها و اطلاعات فراوان، یک ضرورت به حساب می آید. این تکنولوژی برای ذخیره و بازیابی داده ها و نیز پردازش آنها در مقیاس بزرگ بکار می رود. یک کلاستر هادوپ از دو جزء تشکیل می گردد: hdfs و نگاشت – کاهش. از hdfs برای مدیریت داده ها استفاده می شود. همچنین hdfs مکان ذخیره سازی برای داده های ورودی و خروجی کارهای نگاشت – کاهش را فراهم کرده و با قابلیت هایی مانند تحمل خطای بالا، ظرفیت توزیع بالا و توان عملیاتی بالا طراحی شده است. هادوپ برای ذخیره سازی داده ها در حجم ترابایت یا پتابایت بر روی کلاستر مناسب است. میدانیم که هادوپ برای پردازش داده ها مناسب می باشد و در این پژوهش برآنیم به این پرسش پاسخ دهیم که آیا هادوپ برای برنامه های محاسباتی بزرگ نیز هم مناسب است یا خیر. با استفاده از مقایسه دو بستر سیستم توزیع شده متفاوت در این پژوهش، مشاهده شد که اجرای برنامه بر روی هادوپ منجر به کاهش زمان اجرا و در نتیجه کارایی بهتر هادوپ نسبت به mpi می گردد. همچنین در این تحقیق در مورد اینکه آیا استفاده از هادوپ همیشه مفید است یا اینکه در بعضی از موارد، چارچوب های قدیمی و سنتی به طور مناسب و یا حتی بهتر از هادوپ عمل می کنند بحث می شود.