سنجش شباهت و ارتباط معنایی کلمات و مفاهیم فارسی مبتنی بر فارس‌نت

یافتن شباهت و ارتباط معنایی میان کلمات و مفاهیم یک زبان دارای اهمیت بسیار بالایی در پردازش زبان طبیعی است و می‌تواند به بهبود عملکرد سامانه‌های مختلف مانند کشف تقلب، خلاصه‌سازی، ارزیابی ترجمه ماشینی، تشخیص دگرنویسی، شناسایی استلزام و گفتگوی هوشمند کمک شایانی نماید. یافتن شباهت و ارتباط معنایی بسته به نوع بازنمایی معنا می‌تواند مبتنی بر گراف یا مبتنی بر بردار باشد. در روش‌های مبتنی بر گراف، شباهت معنایی براساس اطلاعات موجود در سلسله‌مراتب، میزان نزدیک بودن دو مفهوم را تعیین می‌نماید و ارتباط معنایی از اطلاعات بیشتری مثل سایر روابط غیر سلسله‌مراتبی و همچنین توضیح و مثال موجود برای هر مفهوم در وردنت‌ها استفاده می‌نماید. در این مقاله پس از توضیح نحوه عملکرد شش معیار شباهت معنایی و سه معیار ارتباط معنایی موجود، برروی زوج مفاهیم و یا زوج واژه‌های زبان فارسی، به معرفی یک روش جدید مبتنی بر فارس‌نت برای این زبان می‌پردازیم. به‌این‌ترتیب ضمن معرفی شیوه جدیدی برای شباهت سنجی کلمات و مفاهیم فارسی مبتنی بر همه روابط فارس‌نت، بستری برای آزمون و ارزیابی و مقایسه روش‌های شباهت سنجی و ارتباط سنجی و همچنین سرویسی برای محاسبه میزان شباهت و ارتباط واژه‌ها یا مفاهیم فراهم آورده‌ایم که در طی مقاله جزئیات آن را بررسی خواهیم کرد.

Measurement of FarsNet-based Semantic Word Similarity and Relatedness

Finding similarity and semantic relatedness between words and concepts of a language is very important in natural language processing and can help improve the performance of various systems such as plagiarism detection, summarization, machine translation evaluation, transliteration detection, implication detection and intelligent conversation. Finding semantic similarity and relatedness, depending on the type of meaning representation, can be graph-based or vector-based. In graph-based methods determine the degree of semantic similarity of the two concepts based on the information in the hierarchy, and semantic relatedness is calculated using more information, such as other non-hierarchical relations and glosses or examples for each concept in the wordnet. In this paper, first we explain how the six existing measures of semantic similarity and the three measures of semantic relatedness work on a pair of Persian concepts or words. Besides using these measures, we introduce a new FarsNet-based method and measure semantic similarity and relatedness of Persian words based on all these measures. We also prepare a baseline service to calculate word similarities and test, evaluate or compare similarity measures.