کشف تقلب بر روی تراکنش‌های مالی به شکل استریم در کلان داده‌ها

در این مقاله، بر اساس چارچوب مبتنی بر فناوری‌های کلان داده که در [1] ارائه شده، یک پیادهسازی اختصاصی جهت کشف تراکنشهای مالی به شکل آنلاین بر روی مجموعه‌داده ccfd [2] معرفی شده است و پیاده‌سازی این چارچوب و نتایج آن، گزارش شده است. این روش در نهایت به دنبال پیاده سازی یک روش با بکارگیری چندین فیتلر مختلف یادگیری با نظارت و بدون نظارت به شکل آنلاین در کلان داده برای تشخیص تراکنش مالی متقلبانه می باشد. برای انجام این موضوع، بر اساس[1] یک چرخه کار کلی پیشنهاد داده شده، که مهمترین ایده‌های سیستم‌های تشخیص کلاهبرداری تراکنش‌های مالی موجود را دارا می‌باشد و هدف از این پیاده‌سازی علاوه بر موارد ذکر شده بهبود مجموعه‌داده مورد استفاده از حالت تولید تصادفی به حالت استفاده از مجموعه‌داده استاندارد[2] می باشد. در بخش اصلی چرخه کار یک چارچوب جدید که از چهار لایه تشکیل شده، پیاده‌سازی شده‌ است: لایه ذخیره‌سازی توزیع شده، لایه آموزش دسته‌ای، لایه اشتراک‌گذاری کلید/مقدار و لایه استریم . این چهار لایه، می‌تواند ذخیره‌سازی داده‌های معاملاتی، آموزش مدل شناسایی سریع، اشتراک‌گذاری سریع داده‌های مدل و تشخیص تقلب آنلاین بلادرنگ پشتیبانی کند. در این پیاده سازی از اسپارک و اسپارک استریم استفاده شده است.