آبگیر داده: رویکردی نوین جهت مدیریت و تحلیل بی‌درنگ داده‌های حجیم

با افزایش سرعت تولید داده‌ها، نیاز به پردازش، ذخیره‌سازی و تحلیل داده‌های حجیم روزبه‌روز در حال افزایش است. به‌تازگی دریاچه داده برای داده‌های ناساختیافته (با خصوصیت base) مطرح شده است. اما وجود داده‌های حساس ساخت‌یافته (با خصوصیت acid) و داده‌های با حساسیت کمتر غیرساخت­یافته در داده‌های حجیم از طرفی باعث بروز مشکلاتی جدید در مدیریت داده‌های حجیم با استفاده از این روش‏ها شده است. در این مقاله راه‌حلی ارائه خواهد شد که قادر خواهد بود داده‌های ساخت‌یافته و ناساخت­یافته با خصوصیات متفاوت را به‌صورت هم‌زمان ذخیره‌سازی و به پرس‌وجوهای کاربر به‌صورت بلادرنگ پاسخ دهد. روش مذکور پس از بررسی انبار داده و دریاچه داده، مشخص کردن نقاط قوت و ضعف و درنهایت با تلفیق این دو روش مطرح شده است. به‌عنوان یکی از نتایج مهم این تحقیق پس از مقایسه انبار داده و دریاچه داده خواهیم دید، دریاچه داده جایگزینی برای انبار داده نبوده و انبار داده کاربرد‌های خاص خود را مخصوصاً در داده‌های مالی دارد، زیرا از نظریه acid پیروی کرده و دریاچه داده نیازمندی‌های نظریه base را رفع می‌کند. ایده مطرح شده در این مقاله با عنوان آبگیر داده، دارای سه مزیت اصلی است: 1 استفاده هم‌زمان از انبار داده و دریاچه داده جهت پاسخگویی بلادرنگ به انواع نیاز‌های داده‏ای سازمان با بهره‌گیری از مزایای آن‌ها 2 تفکیک داده‌های جدید از قدیمی جهت رسیدن به بی‌درنگی 3 ایجاد توازی و درنتیجه عدم هم‌زمانی بارگذاری داده و پردازش پرس‌وجو جهت کاهش هزینه زمانی.