ارائه روشی برای استخراج کلمات کلیدی و وزن‌دهی کلمات برای بهبود طبقه‌بندی متون فارسی

با توجه به گسترش روزافزون اطلاعات و وجود حجم انبوه متون غیرساخت یافته، استفاده از کلمات کلیدی نقش مهمی در بازیابی اطلاعات دارد. این درحالی است که استخراج کلمات کلیدی به صورت دستی مشکلات زیادی دارد. بنابرین استخراج کلمات کلیدی به صورت خودکار از نیازهای ضروری فناوری امروزه است. در این پژوهش سعی شده با استفاده از اصطلاح نامه که از نظامی ساختارمند برخوردار است، کلمات کلیدی بامعناتری از متون استخراج کرد و با آن ها طبقه بندی متون فارسی را بهبود بخشید. مراحلی که برای افزایش جامعیت جستجو باید سپری شود به این صورت است که در مرحله نخست کلمات زائد حذف و باقی کلمات ریشه یابی می شود؛ سپس به کمک اصطلاح نامه کلمات هم معنی، اعم ها و اخص ها و همچنین وابسته ها پیدا و در ادامه برای مشخص شدن اهمیت نسبی کلمات یک وزن عددی به هر کلمه منسوب می شود که بیان گر میزان تاثیر کلمه در ارتباط با موضوع متن و درمقایسه با سایر کلمات به کار رفته در متن است . با توجه به مراحل بالا و به کمک اصطلاح نامه، طبقه بندی متون دقیق تر انجام می گیرد. در این روش از الگوریتم نزدیکترین همسایه (knn) برای طبقه بندی استفاده می شود. الگوریتم knn به خاطر سادگی و موثر بودن آن در طبقه بندی متون بسیار به کار برده می شود. مبنای کار این الگوریتم، مقایسه متن آزمایش داده شده با متون آموزشی داده شده و به دست آوردن میزان شباهت بین آن ها است. نتایج آزمایش ها برروی چندین متن در موضوع های مختلف، نشان دهنده دقت و توانایی روش پیشنهادی در استخراج کلمات کلیدی منطبق با خواست کاربر و در نتیجه طبقه بندی دقیق تر متون است.