تولید پیکره برچسب‌خورده واحدساز زبان فارسی با درنظر‌گرفتن ملاحظات زبان‌شناسی رایانشی آن

متون نگاشته‌شده فارسی به‌طورمعمول دو مشکل ساده، ولی مهم دارند. مشکل نخست واژه‌های چندواحدی هستند که از اتصال یک واژه به واژه ‌های بعدی حاصل می شوند. مشکل دیگر واحدهای چندواژه ای هستند که از جداشدگی واژه‌ هایی که با هم یک واحد واژگانی را تشکیل می‌ دهند، حاصل می‌شوند. ابزار واحدساز در زبان فارسی که به‌عنوان یکی از ابزارهای پیش پردازش زبان است، کاربرد فراوانی در تجزیه و تحلیل متون داشته و باید بتواند واحدهای واژگانی را تشخیص دهد. به عبارتی، این ابزار، مرکز کلمات را در متون تشخیص داده و آن را به دنباله ای از کلمات به‌منظور تحلیل های بعدی تبدیل می‌ کند. تنوع در رسم‎‌الخط فارسی و عدم رعایت قوانین جدانویسی و پیوسته‌نویسی کلمات از یک‌سو و پیچیدگی‌های واژگانی زبان فارسی از سویی دیگر فرایندهای مختلف پردازشی زبان از جمله واحدسازی را با چالش‌‌های بسیاری روبه‌رو می‌کند؛ لذا برای عملکرد بهینه این ابزار، لازم است ابتدا ملاحظات زبان‌شناسی رایانشی واحدسازی در زبان فارسی مشخص و سپس بر اساس این ملاحظات مجموعه‌داده ای برای آموزش و آزمایش آن فراهم شد. در این مقاله سعی شد ضمن تبیین ملاحظات یاد‌شده، به تهیه پیکره ای در این خصوص بپردازیم. پیکره تهیه‌شده شامل 21/183 کلمه و متوسط طول جملات 40/28 است.

producing a persian text tokenizer corpus focusing on its computational linguistics considerations

the main task of the tokenization is to divide the sentences of the text into its constituent units and remove punctuation marks (dots, commas, etc.). each unit is a continuous lexical or grammatical writing chain that is an independent semantic unit. tokenization occurs at the word level and the extracted units can be used as input to other components such as stemmer. the requirement to create this tool is to identify and recognize the units that are known as independent semantic units in persian language. this tool detects word boundaries in texts and converts the text into a sequence of words.in the english language, many activities have been done in the field of text tokenization and many tools have been development; such as: stanford, ragel, antlr, jflex, jlex, flex and quex. in recent decades, valuable researches have also been conducted in the field of tokenization in persian language that all of them have worked on the lexical and syntactic layer. in the current research, we tried to focus on the semantic layer in addition to those two layers.persian texts usually have two simple but important problems. the first problem is multi-word tokens that result from connecting one word to the next. another problem is polysyllabic units, which result from the separation of words that together form a lexical unit.  tokenizer is one of the language preprocessing tools that is widely used in text analysis. this component recognizes the center of words in texts and turns it into a sequence of words for later analysis. variety in persian script and non-observance of the rules of separation and spelling of words on the one hand and the lexical complexities of persian language on the other hand, different language processing such as tokenization face many challenges. therefore, in order to obtain the optimal performance of this tool, it is necessary to first specify the computational linguistics considerations of tokenization in persian and then, based on these considerations, provide a data set for training and testing. in this article, while explaining the mentioned considerations, we tried to prepare a data set in this regard. the prepared data set contains 21.183 tokens and the average length of sentences is 40.28.