ارائه یک روش موثر برای یادگیری مقاوم متریک در برابر نوفه برچسب

تعیین شباهت/ فاصله داده‌ها در بسیاری از الگوریتم‌های یادگیری ماشین، شناسایی الگو و داده‌کاوی کاربرد دارد. در بسیاری از کاربردها، معیارهای عمومی شباهت/فاصله کارایی بالایی ندارد و به‌طورمعمول با استفاده از داده‌ها می‌توان معیار مناسب‌تری را یاد گرفت. داده‌های آموزشی برای این منظور به‌طورمعمول به‌صورت زوج‌های مشابه و نامشابه و یا محدودیت‌های سه‌گانه هستند. در کاربردهای واقعی، این داده‌های آموزشی از طریق اینترنت و به‌طورمعمول با روش‌هایی نظیر crowdsourcing جمع‌آوری می‌شود که می‌تواند حاوی نوفه و اطلاعات اشتباه باشد. کارایی روش‌های یادگیری متریک در صورت وجود اطلاعات آموزشی نوفه‌ای و اشتباه به‌شدت افت می‌کند و حتی ممکن است این روش‌ها از معیارهای عمومی فاصله نظیر اقلیدسی نیز بدتر عمل کنند. بنابراین نیاز به مقاوم‌سازی روش‌های یادگیری متریک در برابر نوفه برچسب وجود دارد. در این پژوهش، یک تابع احتمالاتی جدید برای تعیین احتمال نوفه‌ای‌‌بودن برچسب داده‌ها با استفاده از محدودیت‌های سه‌گانه آموزشی ارائه‌شده است که باعث می‌شود، الگوریتم یادگیری متریک بتواند داده‌های پرت و نوفه‌ای را شناسایی کند و تاثیر آن‌ها را فرایند یادگیری کاهش دهد. همچنین نشان داده‌ شده است که چگونه از اطلاعات به‌دست‌آمده می‌توان برای افزایش کارایی الگوریتم مبتنی بر متریک (مانند knn) بهره برد و عملکرد آن را به‌طور قابل‌ملاحظه‌ای افزایش داد. نتایج آزمایش‌ها بر روی مجموعه‌ای از داده ‌های ساختگی و واقعی، تایید می‌کند که روش پیشنهادی به‌طور قابل‌ملاحظه‌ای کارایی روش‌های یادگیری متریک را در محیط‌هایی با نوفه برچسب بهبود می‌بخشد و بر روش‌های همتا در مرزهای دانش در سطوح مختلف نوفه برچسب برتری دارد.

An Effective Approach for Robust Metric Learning in the Presence of Label Noise

Many algorithms in machine learning, pattern recognition, and data mining are based on a similarity/distance measure. For instance, the kNN classifier and clustering algorithms such as kmeans require a similarity/distance function. Also, in ContentBased Information Retrieval (CBIR) systems, we need to rank the retrieved objects based on the similarity to the query. As generic measures like Euclidean and cosine similarity are not appropriate in many applications, metric learning algorithms have been developed with the aim of learning an optimal distance function from data. These methods often need training data in the form of pair or triplet sets. Nowadays, this training data is popularly obtained via crowdsourcing from the Internet. Therefore, this information may be contaminated with label noise resulting in the poor performance of the learned metric. In some datasets, even it is possible that the learned metrics perform worse than the general ones such as Euclidean. To address this emerging challenge, we present a new robust metric learning algorithm that can identify outliers and label noise simultaneously from training side information. For this purpose, we model the probability distribution of label noise based on information in the training data. The proposed distribution function efficiently assigns the high probability to the data points contaminated with label noise. On the other hand, its value on the normal instances is near zero. Afterward, we weight the training instances according to these probabilities in our metric learning optimization problem. The proposed optimization problem can be solved using available SVM libraries such as LibSVM efficiently. Note that the proposed approach for identifying data with label noise is general and can easily be applied to any existing metric learning algorithms. After the metric learning phase, we utilized both the weights and the learned metric to enhance the accuracy of the metricbased classifier such as kNN. Several experiments are conducted on both real and synthetic datasets. The results confirm that the proposed algorithm enhances the performance of the learned metric in the presence of label noise and considerably outperforms stateoftheart peer methods at different noise levels.