دسته‌بندی پیکره‌بنیاد هم‌نگاره‌های فارسی

ابهام، یکی از چالش‌های بزرگ در پردازش زبان طبیعی است. در پردازش رایانه‌ای متون، هم‌نگاره‌ها و چگونگی رفع ابهام از آن‌ها از اهمیت بالایی برخوردار است. در زبان‌هایی مانند زبان فارسی که ساخت‌واژه‌ پیچیده‌ای دارند، هم‌نگاره‌های بسیاری ساخته می‌شوند. در این راستا شناخت هم‌نگاره‌ها و دسته‌بندی انواع آن‌ها بسیار مهم است. در پژوهش حاضر به‌منظور بررسی پیکره-بنیاد هم‌نگاره‌های فارسی، واژه‌هایی که بیش از یک برچسب اجزای واژگانی کلام داشتند، از پیکره‌ متنی فارسی استخراج شدند که شامل 10978 واژه است. سپس، فراوانی برچسب‌های هر هم‌نگاره مورد بررسی قرار گرفت و فهرست دیگری استخراج شد که شامل هم‌نگاره‌هایی است که افزون ‌بر فراوانی بالای برچسب اول آن‌ها (بیش از 20)، فراوانی برچسب‌ دوم آن‌ها نیز در پیکره‌ متنی فارسی بیش از 10 بوده است. این فهرست شامل 1675 هم‌نگاره است. ماهیت ساخت‌واژی، آوایی یا معنایی هم‌نگاره‌های استخراج‌شده در این مرحله مورد بررسی قرار گرفت و بر اساس آن، هم‌نگاره‌های استخراج‌شده در یازده دسته طبقه‌بندی شد که از میان آن‌ها، تنها هم‌نگاره‌های موجود در یک دسته بر اساس معیار معنایی طبقه‌بندی شده‌اند و بقیه بر اساس ویژگی‌های ساخت‌واژی و تفاوت‌های آوایی آن‌ها در دسته‌های گوناگون قرار گرفته‌اند. نتایج این پژوهش شامل فهرست گسترده‌ای از هم‌نگاره‌های فارسی استخراج‌شده از پیکره‌ متنی فارسی است که هر کدام بر اساس معیارهای ساخت‌واژی و آوایی در یک یا بیش از یک دسته از مجموع یازده دسته قرار گرفته‌اند. این فهرست و دسته‌بندی مربوط به هم‌نگاره‌ها می‌تواند در سیستم‌های رفع ابهام معنایی از واژگان مورد استفاده قرار گیرد

corpus-based classification of persian homographs

one of the big challenges in natural language processing is ambiguity. homographs and homograph sense disambiguation is highly important in computational processing of texts. in languages with complex morphology, there exists lots of homographs, which are worth studying and classifying. in present study, in order to study persian homographs extracted from the corpus, first words with more than one pos tag were extracted from an annotated corpus, 10978 words. then, the frequency of each pos tag pertaining to every homograph was studied and another list of homographs was extracted from the first one, which include homographs with high frequency of the first tag (more than 20) and considerable frequency of the second tag (more than 10); the mentioned list include 1675 homographs. morphological, phonological as well as semantic structures of homographs were studied based on which all homographs were classified into 11 categories. from 11 categories only homographs in one category were chosen based on semantic criteria and the rest were classified based on morphological as well as phonological criteria. the output of the present study includes a big list of homographs extracted from persian text corpus, each of which are categorized in one or more than one category based on morphological and phonological characteristics of homographs. such list and the related categorization could be used in word sense disambiguation systems.