خلاصه‌سازی متون فارسی با استفاده از رویکرد کدگذاری تنک و بازنمایی عصبی جملات

امروزه، گستردگی و تنوع اطلاعات متنی باعث پیچیدگی فرایند یافتن دانش و الگو‌های مورد نظر از میان آن‌ها شده ‌است. یکی از گام‌های موثر برای کاهش این مشکل، خلاصه‌سازی است. در چند دهه گذشته مسئله خلاصه‌سازی با توجه به نمونه‌های گوناگون از جهات و ابعاد مختلف بررسی شده است.خلاصه‌سازی فرایندی هوشمند است که انجام آن حتی برای انسان‌ها ساده‌ نیست و هر فردی با توجه به دیدگاهش می‌تواند نتیجه متفاوتی ارائه دهد. یک خلاصه مناسب باید دارای سه ویژگی پوشش، تُنُک‌بودن و تنوع باشد. بدین‌منظور در این پژوهش برای در نظر گرفتن این ویژگی‌ها یک روش بر مبنای کدگذاری تُنُک ارائه می‌شود. با به‌کارگیری این روش جملاتی به‌عنوان خلاصه نهایی انتخاب می‌شوند که حداقل خطا را در بازسازی جملات متن ورودی داشته باشند. سپس، با استفاده از روش‌های عصبی در بازنمایی معنایی کلمات و همچنین متون به بهبود روش پیشنهادی پرداخته می‌شود. برای ارزیابی روش پیشنهادی از مجموعه دادگان پاسخ استفاده شده و نشان داده می‌شود ‌که روش پیشنهادی عملکرد بهتری نسبت به سایر پژوهش‌های انجام‌شده بر روی این دادگان در زبان فارسی دارد. مدل پیشنهادی توانسته است به ‌میزان 10.02 درصد و 8.65 درصد و به‌ترتیب در معیار f روژ1 ‌و روژ2 ‌بهبود حاصل نماید.

Persian Text Summarization using Sparse Coding with Neural Text Representation

The progress of communications over internet media such as social media and messengers has led to the production of large amount of textual data. This kind of information contains a lot of valuable knowledge and can be used to improve the performance of other natural language processing (NLP) tasks. There are several ways to use such information, of which one is text summarization.Summarizing textual information can extract the main content of text within a short time. In this paper, we propose an approach for extractive summarization on Persian texts by using sentences embedding and a sparse coding framework.Most previous works focuses on text rsquo;s sentences individually which may not consider the hidden structure patterns between them. In this paper, our proposed approach can consider the relations between the text rsquo;s sentences by using three main criteria, namely coverage, diversity and sparsity, when selecting the summary sentences. By considering these criteria, we select sentences that can reconstruct the whole text with least reconstruction error. The proposed approach is evaluated on Persian dataset Pasokh and achieved 10.02% and 8.65% improvement compared to the stateoftheart methods in rouge1 and rouge2 fscores, respectively. We show that considering semantic relations among the text rsquo;s sentences can lead us to better sentence summarization.