بررسی تطبیقی، کاربردها و چالش‌های فناوری‌های تحلیل بزرگ داده

امروزه سازمان‌ها، با به‌کارگیری فناوری بزرگ داده‌، از طریق دریافت و به اشتراک‌گذاری ساده‌تر و ارزان‌تر اطلاعات، قادر به اداره حجم زیادی داده‌ها، با سرعت و تنوع زیاد شده‌اند. فناوری داده‌های عظیم، در صورت حل صحیح مشکلات مرتبط، فرصت‌های زیادی را فراهم می‌کنند. فناوری‌های گذشته، در پردازش داده‌های موجود برای مواجهه با مقادیر زیاد داده‌های تولید شده، مناسب نیستند. درصورتیکه قالب‌های پیشنهادی برای کاربردهای بزرگ داده، به ذخیره، تجزیه و تحلیل و پردازش داده‌های عظیم کمک می‌کنند. در این تحقیق، ابتدا تعاریف و چالش‌های بزرگ داده، بررسی شده و سپس تعدادی از چارچوب‌های بزرگ دادۀ موجود ( هادوپ، فلینک، استورم، اسپارک و سمزا)، مورد مطالعه و مقایسه تطبیقی قرار گرفته است. چارچوب بزرگ داده‌های مورد مطالعه، به طور کلی در دو دسته طبقه‌بندی می‌شود: (1) حالت دسته‌ای و (2) حالت جریانی.‌ چارچوب ‌ هادوپ،‌ داده‌ها را در حالت دسته‌ای پردازش می‌کند، در حالی که چارچوب‌های دیگر، اجازۀ پردازش جریانی یا بلادرنگ را می‌دهند. نهایتاً مهم‌ترین کاربردهای فناوری بزرگ داده تشریح شده است. مهم‌ترین کاربردهای تحلیل بزرگ داده عبارتند از: کاربردهای برنامه‌های بهداشتی، سیستم‌های توصیه‌گر، شهر هوشمند و تحلیل شبکه‌های اجتماعی. با توجه به رشد دستگاه‌‌ها‌ی متصل به اینترنت، داده‌‌ها‌ی شبکه‌های اجتماعی به طور گسترده در حال رشد بوده و نیاز بیشتری به فناوری بزرگ داده دارند. همچنین مهم‌ترین چالش‌های کاربرد بزرگ داده‌ها، شامل محرمانگی در سیستم‌های ذخیره‌سازی، کمبودهای نرم‌افزاری و محدودیت ابزارها و امکانات سخت‌افزاری موجود، لزوم سرمایه‌گذاری بزرگ اولیه و فقدان مهارت‌های تکنیکی و نیروی کار خبره می‌باشد.

Comparative Study, Applications and Challenges of Big Data Analysis Technologies

oday, receiving and sharing information is easier and cheaper than before, enabling organizations to handle large volumes of data at a high speed and variety in the name of big data. Big data technology provides many opportunities when problems are resolved correctly. Data processing technologies in the past are not suitable for dealing with large quantities of generated data. While Suggested frameworks for big data applications help to store, analyze and process data. In this study, we first reviewed and summarized the big data definitions, and challenges of using it and then a number of important big data frameworks (Hadoop, Flink, Storm, Spark and Samza) have been studied and compared comparatively. The studied framework of big data is generally classified into two categories: (1) batch mode; and (2) stream mode. The Hadoop framework processes data in batch mode, while other frameworks allow stream or real time processing. Ultimately, the most important applications of using big data technology have been described. The most important applications for big data analysis are healthcare applications, advisory systems, smart cities and social networks analysis. Due to the growth of Internetconnected devices, social networking data is growing widely and requires more big data technology. Also, the most challenges of big data application, including confidentiality in storage systems, software deficiencies and the limitation of existing hardware and equipment, the need for large initial investment and the lack of technical skills and expert workforce.