بازشناسی متون فارسی با استفاده از مدل زبانی n-gram و پالایش گرامری

بازشناسی متون، در سال های اخیر بسیار مورد توجه قرار گرفته است. ارایه الگوریتم های بازشناسی، برگرفته از ساختار گرامری و معنایی این زبان می تواند روش موثری در پردازش های دیگر مربوط به خط و زبان فارسی باشد. در این مقاله با استفاده از شاخه علمی پردازش زبان‌های طبیعی، یک الگوریتم سه‌مرحله ای به‌منظور بازشناسی متون فارسی بر مبنای بازشناسی جملات فارسی ارایه می شود. این روش شامل مراحل ترکیب زیرکلمات به‌منظور ساخت کلمات و سپس جملات بالقوه معنی دار و درنهایت استفاده از دو مدل زبانی و چند قاعده گرامری، به‌منظور تشخیص جمله صحیح براساس انطباق با گرامر زبان فارسی است.آزمایش‌های متعدد نشان می دهد که دقت روش ارایه‌شده برای مرحله ساخت کلمات و سپس جملات بالقوه معنی دار98 درصد و برای تشخیص جمله صحیح با استفاده از مدل زبانی بایگرام 85 درصد و برای مدل زبانی ترایگرام 88 درصد است.