یک روش مبتنی بر انتخاب ویژگی با الگوریتم بهینه سازی پروانه به منظور پیش بینی زمان اجرای job های مبتنی بر نگاشت-کاهش

یکی از بسترهای مهم برای پردازش کلان داده استفاده از معماری هدوپ است که می توان با استفاده از عملیات نگاشت-کاهش، داده های بزرگ را در زمان واقعی مورد پردازش قرار داد. یکی از چالش های مهم پردازش کلان داده در هدوپ زمانبندی دقیق jobهایی است که در این بستر اجراء می شوند و نیاز است که قبل از اجرای jobها زمان اجرای آن را پیش بینی نمود تا به درستی و به صورت بهینه زمانبندی شوند. در این مقاله برای تخمین زمان اجرای دقیق jobها از الگوریتم بهینه سازی پروانه برای انتخاب ویژگی های مهم jobها و از شبکه عصبی مصنوعی برای یادگیری استفاده شده است. تجزیه و تحلیل ها نشان می دهد که این الگوریتم، از الگوریتم بهینه سازی ذرات، الگوریتم بهینه سازی کفتار و الگوریتم کرم شب تاب خطای کمتری دارد. آزمایشات نشان می دهد مقدار تابع هدف انتخاب ویژگی، در روش پیشنهادی بر حسب تکرار، یک روند نزولی و کاهشی است. به منظور پیش بینی زمان اجرای jobها، افزایش جمعیت اولیه در این روش، متوسط مجذور خطا را در حدود 25.85% کاهش می دهد. مقایسه روش پیشنهادی با روش های دیگر نشان میدهد خطای تخمین زمان اجرا در روش پیشنهادی از شبکه عصبی چند لایه، شبکه عصبی بازگشتی، درخت تصمیم گیری و جنگل تصادفی کمتر است.

A feature-based Method by butterfly Optimization Algorithm to Predict the Execution Time of a Job in Hadoop

Hadoop is among important platforms used for big data processing whereby MapReduce operations can be used to process big data in real time. One important challenge in big data processing using Hadoop is proper scheduling of jobs executed in the framework, because correct and optimal execution of jobs hinges upon predicting their execution time. This study aimed at estimating the execution time of jobs. To this end, butterfly optimization algorithm was used to select important job features and the artificial neural network was used for learning. Analyses showed lower error rates for butterfly optimization algorithm compared to Particle Swarm Optimization algorithm, the Spotted Hyena Optimization algorithm, and the Firefly algorithm. Results showed that the value of the objective function for feature selection decreased in the proposed iteration-based method. In order to predict job execution time, the initial population in this method increased, which in turn, reduced the Root Mean Square Error by about 25.85%. The proposed method showed a lower execution time estimation error in comparison to other methods like Multilayer Neural Network, Recursive Neural Network, Decision Tree, and Random Forest.