مروری بر الگوریتم های مختلف knn توسعه یافته

در دنیای امروزی در کاربردهایی مانند دسته‌بندی متن یا پیش‌بینی بارش در پیش‌بینی وضعیت شیء جدید، تشخیص اینکه با توجه به داده‌های بزرگ فعلی داده ورودی جدید چه وضعیتی خواهد داشت، بسیار مهم است. بدین منظور یکی از تکنیک‌های مهم داده‌کاوی به نام دسته‌بندی (classification) استفاده می‌شود. در این مقاله الگوریتم knn (k نزدیک ترین همسایه) مورد بررسی قرار گرفته‌است و مروری کلی از اینکه تاکنون از چه روش‌هایی برای بهبود این الگوریتم استفاده شده‌است، انجام گرفته‌است. الگوریتم knn در عین سادگی، بی پارامتر بودن و کارائی دسته‌بندی بالا، دارای اشکالاتی مانند زمان پیچیدگی محاسباتی بالا، نسبتاٌ گران بودن دسته‌بندی شی جدید، حساسیت به انتخاب مقدار k و حساسیت نسبت به نویز است. لذا این الگوریتم باید توسعه یابد. الگوریتم‌های knn توسعه‌ یافته مختلف که در این مقاله مورد بررسی قرار گرفته‌اند به دو دسته مهم تقسیم می‌شوند: 1- طراحی الگوریتم‌های سریع برای جستجوی k نزدیکترین همسایه شی جدید در کوتاه‌ترین زمان. 2- انتخاب برخی نمونه‌های نماینده از نمونه های یادگیری اولیه یا حذف برخی از نمونه‌های یادگیری اولیه. بدین منظور در این مقاله الگوریتم‌هایی مانند درخت k-d، درخت k-d تصادفی، درخت r-tree ، درهم‌ساز حساس به محل (lsh)، wknn ، dwknn ، الگوریتم وزن‌دهی exponential ، الگوریتم خوشه‌بندی تک گذر مقید(inntc) و سناریوی چند برچسبی با استفاده از انتخاب نمونه اولیه پرداخته شده‌است و با یکدیگر مقایسه شده‌اند. نتایج حاکی از عملکرد خوب برخی از الگوریتم‌ها است. الگوریتم مبتنی بر درخت تصادفی در زمان جستجو بهبود ایجاد می‌کند. الگوریتم knn مبتنی بر خوشه‌بندی وزن دار، الگوریتم خوشه‌بندی تک گذر مقید، الگوریتم مبتنی بر سناریوی انتخاب نمونه اولیه در دسته بندی چند برچسبی موفق هستند و روش وزن‌دهی hubness و فازی با کاهش نمونه آزمایشی باعث بهبود الگوریتم knn می باشد.