دسته بندی متون زبان فارسی با استفاده از نگاشت کلمه به بردار

دسته بندی متن یکی از کلیدی ترین و مهم ترین فعالیت های حوزه متن کاوی است. هدف از دسته بندی متن، قرار دادن هر متن در دسته های از پیش تعیین شده بر اساس یادگیری اولیه سیستم است. تحقیقات گسترده ای که در حیطه دسته بندی در زبان های مختلف و به خصوص در زبان انگلیسی انجام شده است. اما فعالیت های انجام شده در زبان فارسی برای این حوزه بسیار محدود و دارای دو چالش اساسی است. اولین چالش این روش ها استفاده از شیوه های سنتی و قدیمی دسته بندی برای زبان فارسی و چالش دوم، ارزیابی روش ارائه شده بر روی مجموعه محدود و کم تعدادی از متون است. از این رو در این مقاله روشی برای دسته بندی متون فارسی بر پایه نگاشت کلمه به بردار به عنوان یکی از حوزه های جدید و کاربردی یادگیری ماشین پیشنهاد می شود و تلاش می شود روش پیشنهادی از جنبه های مختلف و بر روی یک مجموعه 90هزار تایی از اخبار فارسی ارزیابی و بررسی گردد تا خروجی روش قابل اطمینان و سازگار با شرایط مختلف باشد.در روش پیشنهادی ابتدا پیش پردازش های لازم برای زبان فارسی بر روی مجموعه داده اعمال می گردد. سپس به کمک نگاشت کلمه به بردار، فضای مسئله به یک فضای n بعدی از اعداد نگاشت می شود. در این نگاشت هر کلمه به برداری از اعداد تبدیل می شود به نحوی که کلمات مشابه از نظر برداری به هم نزدیک باشند. سپس این بردارها مبنای آموزش یک دسته بند قرار گرفته و عمل پیشگویی موضوع هر متن طبق این آموزش انجام می شود. نتایج ارزیابی ها نشان-دهنده موفقیت روش پیشنهادی در دسته بندی متن های زبان فارسی است.