تشخیص موجودیت‌های نامدار در متون فارسی با استفاده از یادگیری عمیق

شناسایی موجودیت‌ های نامدار یکی از فعالیت‌ های زیربنایی در حوزه پردازش زبان طبیعی و به‌طور‌کلی زیر‌مجموعه‌ ای از استخراج اطلاعات است. در فرآیند شناسایی موجودیت‌ های نامدار به‌دنبال یافتن عناصر اسمی در متن و دسته ‌بندی آنها به رده‌ هایی ازپیش‌ تعیین ‌شده از قبیل اسامی اشخاص، سازمان ‌ها، مکان‌ ها، مذاهب، عنوان کتاب ‌ها، عنوان فیلم ها و غیره هستیم. در این مقاله با بهره گیری از روش های نوین در این حوزه مانند استفاده از دو بُردار مختلف بازنمایی معنایی واژگان برمبنای کلمه و حروف تشکیل‌دهنده آن برمبنای شبکه ‌های عصبیو همچنین استفاده از روش‌ های یادگیری عمیق یک سامانه تشخیص موجودیت ‌های نامدار معرفی می‌شود. همچنین در راستای پژوهش حاضر، یک پیکره برچسب ‌گذاری شده شامل سه‌هزار چکیده از ویکی ‌پدیای فارسی که شامل نود‌هزار واژه است با استفاده از پانزده برچسب مختلف ارائه می‌شود که گام مهمی در ارتقای پژوهش‌ های آینده این حوزه برداشته خواهد شد. نتایج حاصل از ارزیابی سامانه پیشنهادی نشان می ‌دهد که می ‌توان با استفاده از داده معرفی ‌شده به دقت 72.09 در معیار f رسید.

Named Entity Recognition in Persian Text using Deep Learning

Named entities recognition is a fundamental task in the field of natural language processing. It is also known as a subset of information extraction. The process of recognizing named entities aims at finding proper nouns in the text and classifying them into predetermined classes such as names of people, organizations, and places. In this paper, we propose a named entity recognizer which benefits from neural networkbased approaches for both word representation and entity tagging. In the word representation part of the proposed model, two different vector representations are used and compared: (1) the semantic representation of words based on their context using word2vec continues skipgram model, and (2) the semantic representation of words based on their context as well as characters forming them using fasttext. While the former model captures the semantic concepts of words, the latter one considers the morphological similarity of words as well. For the entity identification, a deep Bidirectional Long Short Term Memory (BiLSTM) network is used. Using LSTM model helps to consider the history of text when predicting entities, while the BiLSTM model expands this idea by benefiting from the history from both sides of the context. Moreover, inline of the present research, an annotated corpus containing 3000 abstracts (90000 tokens) from the Persian Wikipedia is provided. In contrast to the available datasets in the field, which includes up to 7 label types, the new dataset contains 15 different labels, namely person individual, person group, organizations, locations, religions, books, magazines, movies, languages, nationalities, events, jobs, dates, fields, and other. Developing this dataset will be an important step in promoting future research in this field, especially for the tasks such as question answering that need wider range of entity types. The results of the proposed system show that by using the introduced model and the provided data, the system can achieve 72.92 Fmeasure.