استفاده از تکنولوژی داده‌های عظیم در نظرکاوی

نظرات، نقش مهم و تعیین کننده‌ای در فرآیند تصمیم‌گیری چه برای مشتریان و چه برای سازمان‌های تجاری ایفا می‌کنند. از این رو، وجود سیستم‌های خودکار نظرکاوی برای داده‌های نظری موجود در وب، ضروری به نظر می‌رسد. از طرفی، با حجم بالا و رشد روزافزون داده‌های نظری روی وب، فرآیند نظرکاوی می‌تواند با چالشی بزرگ روبه‌رو شود؛ چرا که پردازش و تحلیل این حجم عظیم از داده‌ها با تکنولوژی‌های متداول، ممکن است عملی نباشد. در صورتی‌ که سیستم‌های کاوش نظرات به تکنولوژی‌های داده‌های عظیم مجهز شوند، بدون نگرانی از مدیریت، ذخیره‌سازی و مدیریت حجم روزافزون داده‌های نظری، می‌توانند به کار خود ادامه دهند. با آنکه در سال‌های اخیر تحقیقات زیادی در حوزه تحلیل حسی نظرات انجام شده است، اما تلاش‌های کمی در حوزه کاوش داده‌های نظری در حیطه زبان فارسی در مقیاس بالا انجام گرفته است. از این رو، در این تحقیق، دو روش نظرکاوی برای داده‌های زبان فارسی با استفاده از یک لغت‌نامه حسی زبان فارسی در بستر تکنولوژی داده‌های عظیم ارائه شده است. برای ذخیره‌سازی و پردازش داده‌های نظری از چارچوب متداول و کارای هدوپ و مدل برنامه‌نویسی نگاشت_کاهش (mapreduce) استفاده شده است. نتایج به دست آمده از آزمایش‌ها حاکی از آن است که چارچوب پیشنهادی برای نظرکاوی به شکلی کارا عمل کرده و نه تنها برای حجم‌های بالا بلکه در حجم‌های حدود 20 مگابایت شاهد افزایش 100 برابری در کارامدی هستیم. این ضریب، در حجم‌های بالاتر به شکل محسوس‌تری افزایش می‌یابد.

Exploiting Big Data Technology for Opinion Mining

Reviews have an important role in the decisionmaking process either for customers or commercial organizations. Hence, it is necessary to develop methods that mine the reviews of customers automatically. This task is referred to as Opinion mining or sentiment analysis. Opinion mining covers a wide range of subproblems such as text mining, natural language processing, classification, etc. However, with the fast growth of opinion data on the web, the opinion mining process faces some serious problems. Storing, managing and processing such a large volume of data using the traditional approaches are very hard and, in some cases, impossible. While there are various studies in the opinion mining area, there are few studies that address the problem of mining the sentiments of the large volume of Persian texts. In this paper, we propose two approaches for sentiment analysis of Persian reviews. These approaches are developed based on a Persian sentiment lexicon and a programming language model in the MapReduce distributed systems with the Hadoop framework. We examined our proposed approaches with various stations and discuss the effectiveness of the Big Data technology for the opinion mining task. The results showed that not only for high volumes but also for volumes of about 20 MB, a 100fold increase in efficiency was observed.