بهبود تشخیص موجودیت های نامدار در زبان فارسی با استفاده از مکانیزم توجه

در پردازش زبان طبیعی تشخیص موجودیت‌های نامدار، فرآیندی است که در آن موجودیت‌هایی شامل مکان، زمان، اشخاص و سازمان شناسایی می‌شوند. در این مقاله جهت تشخیص موجودیت‌های نامدار از یادگیری انتقالی استفاده شده است، مزیت اصلی استفاده از یادگیری انتقالی هنگامی نمایان می‌شود که مجموعه داده کوچکی در حوزه پژوهشی مورد نظر وجود داشته باشد. شبکه‌ حافظه‌ی کوتاه‌مدت طولانی در استخراج اطلاعات از داده‌هایی که به صورت دنباله‌ای از کلمات هستند و دارای وابستگی ‌طولانی می‌باشند، نسبت به شبکه‌های عصبی بازگشتی بسیار پر‌کاربرد و دارای عملکرد بالاتری هستند، همچنین استفاده از مکانیزم توجه جهت بدست آوردن برداری که نشان دهنده میزان تاثیر دیگر کلمات در کلمه مورد نظر باشد از اهمیت خاص برخوردار می‌باشد. در این مقاله برای اولین بار از ترکیب مدل زبانی برت، شبکه‌ حافظه‌ی کوتاه‌مدت طولانی، شبکه حافظه‌ی کوتاه‌مدت طولانی دوطرفه و مکانیزم توجه به صورت تمرکز بر روی یک کلمه قبل و بعد استفاده گردیده است. نتایج نشان می-دهد استفاده همزمان چندین مورد اشاره شده فوق، همچنین استفاده از رویکرد اصلی مکانیزم توجه در تشخیص موجودیت‌های نامدار می‌تواند بهبود عملکرد سیستم را در پی داشته باشد. عملکرد مدل پیشنهادی بر روی دیتاست مورد نظر با در نظر گرفتن معیار f1-score، 91.34 می‌باشد.

improve named entity recognition in the persian language using attention mechanism

in natural language processing, named entity recognition is a process in which entities including place, time, persons, and organization are identified. these named entity recognition are the basis of many natural language processing tasks. in this article, transfer learning is used to identify named entities. the main advantage of using transfer learning appears when there is a small data set in the research area. transfer learning allows you to use the experiences used on other projects in your project and get better results during training and testing. long short-term memory networks are very useful in extracting information from data that are a sequence of words and have long dependencies, and have a higher performance than recurrent neural networks, as well as the use of attention mechanism to obtain a vector which indicates the effect of other words on the word item is of particular importance. in this paper, for the first time, a combination of bert language model, long short-term memory networks, and bidirectional long short-term memory networks and attention mechanism is used to focus on one word before and after. the results show that the simultaneous use of several of the above, also using the main approach of the attention mechanism by focusing on a word before and after, which is the innovation used in this article, can improve the performance of the system. using the items mentioned on the database used, the performance of the proposed system considering the f1-score criterion is 91.34.