یک روش تحلیل داده های بزرگ کسب و کار های تجاری با استفاده از فناوری آپاچی اسپارک

امروزه حجم بالایی از داده های تجاری در فضای مجازی ایجاد می شود که مرتبط با انواع کسب و کارهای آنلاین است. مسلماً داده های بکار رفته در اینترنت که حاصل فعالیتهای تجاری می باشند دارای اطلاعات باارزش و مهمی می باشند که می توان با روش های کشف دانش مانند داده کاوی و یادگیری ماشین تا حدود زیادی این دانش را استخراج نمود. چالش مهم در پردازش و تحلیل داده های مرتبط به کسب و کارهای آنلاین آن است که حجم آنها بیش از اندازه در حال افزایش است و از این جهت پردازش آنها در زمان واقعی ممکن نبوده و نیاز به زمان زیادی برای پردازش دارند زیرا این داده ها می توانند از نوع کلان داده باشند و زمان پردازش آنها بیش از حد انتظار است. یکی از روش های پردازش کلان داده استفاده از فناوری پردازش توزی شده در سیستم های مانند آپاچی اسپارک است که در این مقاله یک چارچوب مبتنی بر کتابخانه های یادگیری ماشین در اسپارک برای پردازش کلان داده تجاری ارایه می شود تا در زمان اندک و نیزدیک به زمان واقعی داده های تجاری را مورد پردازش قرار دهد. آزمایشات نشان می دهد روش پیشنهادی در بستر اسپارک شتاب یادگیری در تکنیک های ماشین بردار پشتیبان، درخت تصمیم گیری و جنگل تصادفی را به ترتیب 6. 22.96، 7.86 و 5.69 برابر می نماید از طرفی خطای این روش ها برای تشخیص و اعتبارسنجی مشتریان به ترتیب برابر 0.572، 0.533 و 0.491 است.