جانشینی مقادیر مفقود و تاثیر آن بر دقت کلاسه بندی در داده کاوی پزشکی

مقدمه: وجود مقادیر مفقود در داده های پزشکی می تواند تمام فرآیند داده کاوی و تفسیرهای حاصل را تحت تاثیر قرار دهد. بنابراین برخورد با این مقادیر ضروری می باشد. در این پژوهش تاثیر روش های مختلف برخورد با مقادیر مفقود بر روی دقت کلاسه بندی داده های پزشکی مورد ارزیابی قرار گرفت. روش: در این مطالعه، تاثیر روش های معروف جانشینی مقادیر مفقود شامل mean/mode، hot deck، knearest neighbor، maximum possible value، all possible value، case deletion و regression بر روی دقت کلاسه بندی مجموعه داده های پزشکی سرطان سینه، ناراحتی قلبی، بیماری های پوستی، هپاتیت، تیروئید، دیابت، تومور اولیه، بیماران کبدی، سرطان ریه و بعد از جراحی، به ازای شش نرخ مختلف مقادیر مفقود، ارزیابی شد. در آزمایش ها از دو کلاسه بند شبکه های عصبی و نزدیکترین k همسایه در نرم افزار داده کاوی weka استفاده شد. برای تخمین دقت، از روش 10fold cross validation استفاده شد.نتایج: نتایج نشان داد برای کلاسه بند شبکه های عصبی، همه روش های جانشینی در برابر نرخ های مختلف مقادیر مفقود، تاثیرات متفاوتی در دقت کلاسه بندی داشتند. برای کلاسه بند نزدیکترین k همسایه، روش جانشینی mean/mode در مقایسه با سایر روش ها تقریباً با افزایش نرخ مقادیر مفقود، باعث افزایش دقت کلاسه بندی گردید. در مجموع، هیچ یک از روش های جانشینی به ازای همه نرخهای مختلف مقادیر مفقود، همواره بیشترین دقت را نتیجه نداده و برتری نداشت.نتیجه گیری: تحلیل نتایج نشان می دهد روش های جانشینی بررسی شده به ازای همه نرخ های مختلف از مقادیر مفقود شده لزوماً باعث بهبود دقت کلاسه بندی نگردیده و هیچ کدام از روش های جانشینی بررسی شده بهترین روش نیستند.

Replacement of Missing Values and its Effect on the Classification Accuracy in Medical Data Mining

Introduction: The missing values in medical data may impact the data mining process and any kind of interpretation. Thus the treatment of these missing values is a necessary task. In this research, the effect of various methods of dealing with missing values on medical data classification accuracy is evaluated.Method: This paper studied the effect of missing data replacement methods including Mean/Mode, Hot Deck, KNearest Neighbor, Maximum Possible Value, All Possible Value, Case Deletion, and Regression on classification accuracy for two popular classifiers namely Knearestneighbor and Neural Networks from Weka Data mining tool on 10 medical datasets including Breast Cancer, Cardiac Problems, Dermatology, Hepatitis, Thyroid, Diabetes, Primary Tumor, Liver Patient, Lung Cancer and PostOperative Patient. These were selected from the six amounts of missing values. For classification accuracy estimation, the 10fold cross validation method is used.Results: The results show that although the mean/mode method almost had better classification improvement that, none of the replacement methods for all amounts of missing values, is not always the most accurate classification with increasing amounts of missing values for the Knearestneighbor classifier. There was no supremacy for all the replacement methods against the various amounts of missing values for any of the replacement methods for all data sets with different amounts of missing values.Conclusion: The current study shows that the replacement methods that have been evaluated for all the different rates of missing values do not necessarily improve the accuracy of classification and none of the investigated replacement methods is not absolutely the best one.