به ‌کارگیری نظریه ساختار بلاغی برای بهبود بازنمایی متن با شبکه‌های عصبی عمیق

یافتن یک بازنمایی معنایی غنی با ابعاد کم برای متون طولانی یکی از چالش های اساسی در فعالیت های مختلف پردازش زبان طبیعی به شمار می رود. این بازنمایی باید اطلاعات معنایی و نحوی متن را در برگرفته و همچنین بر حسب وظیفه مد نظر ارتباط و تشابه متون را در ابعاد کم مدل‌سازی کند. در این مقاله تلاش بر آن است تا با بهره‌گیری از نظریه ساختار بلاغی و شبکه‌های عصبی عمیق چالش های مطرح شده مرتفع گردد. نظریه ساختار بلاغی با ارائه یک ساختار سلسله مراتبی به توصیف اهمیت عبارات موجود در متن و روابط بین آن‌ها می‌پردازد. در اینجا تاثیر به‌کارگیری این ساختار درختی بر دو وظیفه بازیابی اطلاعات و تحلیل احساسات بررسی شده‌است. در وظیفه بازیابی اطلاعات، جهت مدلسازی وابستگی معنایی بین مستندات، یادگیری بازنمایی سند توسط شبکه‌های عصبی بازگشتی عمیق دوقلو صورت پذیرفت. بطوریکه ذخیره و بازیابی مستندات متنی تسهیل گردد. این شبکه از دو زیرشبکه بازگشتی عمیق تشکیل شده است. این شبکه های بازگشتی، مبتنی بر ساختار درختی حاصل از تجزیه متن توسط نظریه ساختار بلاغی می‌باشند. این متدلوژی بر روی دو مجموعه داده خبری شامل اخبار بی بی سی و همچنین زیرمجموعه ای از دادگان رویترز مورد ارزیابی قرار گرفت. نتایج نشان می دهد بازنمایی ارائه شده توسط این ساختار، کارآیی بالاتری از بازنمایی های سنتی مبتنی بر سبد کلمه دارد. این رویکرد کارایی را به میزان 6٪ بر روی مجموعه داده بی‌بی‌سی و 3٪ بر روی مجموعه داده رویترز نسبت به بهترین روش کلاسیک بهبود داده‌است. در وظیفه تحلیل احساسات، در ابتدا به کمک شبکه عصبی بازگشتی عمیق مبتنی بر درخت ساختار بلاغی به ایجاد بازنمایی و در نهایت دسته‌بندی احساسات نظرات افراد پرداخته شد. سپس سایر اطلاعات موجود در درخت جهت بهبود مدل مورد استفاده قرار گرفت. این اطلاعات شامل آگاهی از اهمیت هر بخش از متن با استفاده از درخت ساختار بلاغی می باشد. با تشخیص بخش های مرکزی متن و اعمال مکانیزم توجه بر آن در شبکه عمیق بازگشتی بازنمایی غنی‌تری برای متن ایجاد می گردد. این بازنمایی کارایی مدل تحلیل احساسات را بر روی دادگان اینترنتی نظرات بینندگان فیلم در مقایسه با روش های پایه به میزان 3٪ افزایش داده است. نتایج حاصل از این بررسی، بهبود بازنمایی متن با استفاده از شبکه های عمیق مبتنی بر نظریه ساختار بلاغی را نشان می دهد. بهبود بازنمایی به کمک ساختاردهی متن غیر ساختار یافته بر روی زبان های دیگر از جمله زبان فارسی می تواند مورد راستی آزمایی قرار بگیرد.  

improve text representation using rst-based deep neural networks

finding a highly informative, low-dimensional representation for texts, specifically long texts, is one of the main challenges for natural language processing (nlp) tasks. for texts longer than sentences or a paragraph, finding a good representation beyond the bag-of-words model without losing word order is still a challenge. this representation should capture the semantic and syntactic information of the text while retaining relevance for large-scale similarity search and accurate text classification. we propose the utilization of rhetorical structure theory (rst) to consider the text structure in the representation. rst creates a tree-structure format for the text document and model the importance and relationship between sentences or phrases. in this paper, we examine the effect of using this structure on two different nlp tasks. in information retrieval, to embed document relevance in distributed representation, we use a siamese neural network to jointly learn document representations. our siamese network consists of two sub-networks of recursive neural networks (rnn) built over the rst tree. for this task, we use a subset of reuters’s news corpus and bbc news dataset. the results show that our approach outperforms conventional text representations like tf_idf, lda, lsa and word vector averaging. the proposed representation beats the best conventional method by %6 and %3 in precision at k retrieved documents on bbc and reuters datasets, respectively. in the sentiment analysis task, first, we use an rst-based recursive neural network to represent movie reviews and classify the polarity of people’s opinions. then we propose to use the nucleus-satellite information of a node in the rst-tree to build an attention mechanism by deep rnn to generate better discourse representations. we test the effectiveness of our approach on  sentiment analysis task, and we prove that considering the importance of the text span improves sentiment analysis performance by %3 on the internet movie review database. in this paper, we improve the text representation by the rst-based deep neural network. we can evaluate this approach on the other languages to show the effectiveness of using the structure format of the text.