ارائه فرایندی جهت یکپارچه‌سازی و تشخیص تکرار برای بهبود کیفیت داده‌ها

اطلاعات در محیط‌ های کاری امروزی و تصمیم گیری‌ ها نقشی اساسی دارند. با توجه به اهمیت تصمیم گیری، اطمینان از کیفیت داده‌ های موجود ضروری است. با استفاده از روش‌ های پاک‌سازی داده می‌توان کیفیت داده‌ ها را بهبود بخشید. در این مقاله فرایندی در جهت کشف انواع رکورد های تکراری و متناقض، یکپارچه‌سازی و تشخیص تکرار برای بهبود کیفیت داده‌ها ارائه می‌شود. فرایند پیشنهادی شامل بخش‌هایی ازجمله کد کردن داده‌ها و خوشه‌بندی با استفاده از الگوریتم امید ریاضی بیشینه‌سازی، ساخت نشانه برای رکوردها، ادغام روش‌های کدکردن داده‌ها و ساخت نشانه و ایجاد قوانین انجمنی با استفاده از الگوریتم fpgrowth است. نتایج آزمایش‌ها نشان می دهد در فرایند پیشنهادی به‌طور متوسط معیار فراخوانی 96%، صحت 99%، دقت 95% و امتیاز اف 95% شده است. روش پیشنهادی با یک روش شناسایی تکرار و خطا، مقایسه شده است که نتایج حاصل نشان‌دهنده‌ی افزایش 13% فراخوانی، 1% صحت و 6% امتیاز اف است.

Proposing a process to integrate and identify repetitions to improve the quality of data

Recently, information in the workplace and decision has a major role. Due to the importance of deciding, it is also necessary to ensure data quality. Data quality can be improved by data cleaning methods. In this research, we propose a process for discovering duplications and contradictory types of records, integrating and identifying duplications to improve the quality of data. Our proposed process consists of different activities. These activities are coding records, clustering by expectation maximization algorithm, making token for records, integrate coding records methods and making token for records methods, and extracting association rules by Fpgrowth Algorithm. The results of the tests show that the proposed process has averaged 96% recall, 99% precision, 95% accuracy and 95% fscore. The proposed method is compared with a duplication and error detection method. The results indicate an increase of 13% for recall, 1% for accuracy and 6% for fscore in the proposed process.