خلاصه‌سازی چندسندی اخبار برخط مبتنی بر توابع زیرپیمانه با قابلیت یادگیری

با افزایش انتشار برخط اطلاعات و گسترش کاربران اینترنت، نیاز به خلاصه‌سازی خودکار متن ضرورت بیشتری یافته است. در این مقاله، یک روش خلاصه‌سازی چند سندی مبتنی بر توابع زیرپیمانه قابل یادگیری ارایه می‌شود. با استفاده از زیرپیمانگی، امکان تضمین کیفیت راه حل وجود دارد. در روش ارایه شده، سندهای متنی ورودی با استفاده از گراف‌های وزن‌دار مدل‌سازی می‌شوند که راس‌ها، بازنمایی‌کننده‌ی جملات و یال‌ها نشان‌دهنده‌ی شباهت بین جملات است. با استفاده از این گراف، ویژگی‌هایی که نشان‌دهنده‌ی اهمیت و تاثیر هر جمله است، استخراج می‌شوند. ویژگی‌های اهمیت، ارزش هر جمله را مستقل از جملات دیگر در نظر می‌گیرند. برای مدل‌سازی این ویژگی‌ها، از توابع پیمانه‌ای استفاده می‌شود. ویژگی‌های تاثیر، ارزش هر جمله را با توجه به ارتباط آن با جملات دیگر در نظر می‌گیرند. برای مدل‌سازی این ویژگی‌ها، از توابع زیرپیمانه‌ای استفاده می‌گردد. این ویژگی‌ها اجزای سازنده‌ی تابع هدف را تشکیل می‌دهند که معادل با یک شبکه‌ی عصبی متعارف است. از همین رو، از یک مجموعه‌ی آموزشی جهت آموزش شبکه‌ استفاده می‌شود. پس از اجرای فرآیند یادگیری، از این تابع به منظور خلاصه‌سازی استخراجی چندسندی استفاده می‌شود. این خلاصه‌ساز با استفاده از پیکره‌ی پاسخ و duc 2004 آزمایش شده، و نتایج حاصل از آن ارایه گردیده است.

Multi-document Online News Summarization by Learnable Submodular Functions

With the increasing rate of online information generation and the growth of Internet users, the need for automatic text summarization has become more urgent. In this paper, a multi-document summarization method based on learnable submodular functions is provided. Using submodularity, it is possible to guarantee the quality of solution. Input text documents are modeled using weighted graphs, where nodes and edges represent sentences and similarities between them, respectively. Using this graph, the features that indicate the significance and impact of each sentence are extracted. Significance features consider the value of any sentence, independent of other ones. Modular functions are used to model these features. On the other hand, impact features consider the relationships between sentences. For modeling these features, submodular functions are used. These features are the building blocks of the target function which is equivalent to an ordinary neural network. Therefore, using a training set, network learns how to summarize text. After learning phase, the obtained function is used to summarize input texts. The summarizer has been examined using Pasokh and DUC 2004 datasets, and its results are presented.