استخراج ویژگی‌ و بررسی کارآیی روش‌های کاهش بُعد در زمینه تحلیل احساس

امروزه با فراگیر‌شدن دسترسی به اینترنت و به‌خصوص شبکه‌های اجتماعی، امکان به‌اشتراک گذاری عقاید و نظرات کاربران فراهم شده است. از سوی دیگر تحلیل احساس و عقاید افراد می‌تواند نقش به‌سزایی در تصمیم‌گیری سازمان‌ها و تولیدکنندگان داشته باشد. از‌این‌‌رو وظیفه تحلیل احساس و یا عقیده کاوی به زمینه پژوهشی مهمی در حوزه پردازش زبان طبیعی تبدیل شده است. یکی از چالش‌های استفاده از شیوه های یادگیری ماشینی در حوزه پردازش زبان طبیعی، انتخاب و استخراج ویژگی‌های مناسب از میان تعداد زیاد ویژگی‌های اولیه برای دست‌یابی به مدلی با صحت مطلوب است. در این پژوهش دو روش فشرده‌سازی براساس تجزیه‌های ماتریسی svd و nmf و یک روش بر اساس شبکه‌های عصبی برای استخراج ویژگی‌های موثرتر و با تعداد کمتر در زمینه تحلیل احساس در مجموعه‌داده نظرات به زبان فارسی مورد استفاده و تاثیر سطح فشرده‌سازی و اندازه مجموعه‌داده در صحت مدل های ایجاد‌شده مورد ارزیابی قرارگرفته شده است. بررسی‌ها نشان می‌دهد که فشرده‌سازی نه‌‌‌تنها از بار محاسباتی و زمانی ایجاد مدل کم می‌کند، بلکه می‌تواند صحت مدل را نیز افزایش دهد. بر طبق نتایج پیاده‌سازی، فشرده‌سازی ویژگی‌ها از 7700 ویژگی اولیه به دوهزار ویژگی با استفاده از شبکه عصبی، نه‌‌تنها باعث کاهش هزینه محاسسباتی و فضای ذخیره‌سازی می شود، بلکه می‌تواند صحت مدل را از % 77.05 به % 77.85 افزایش دهد. از سوی دیگر در مجموعه داده کوچک با استفاده از روش svd نتایج بهتری به‌دست می آید و با تعداد ویژگی دوهزار می‌توان به صحت % 63.92 در مقابل % 63.57 دست پیدا کرد؛ هم‌چنین آزمایش‌ها حاکی از آن است که فشرده‌سازی با استفاده از شبکه عصبی در صورت بزرگی مجموعه‌داده برای ابعاد پایین مجموعه ویژگی،‌ بسیار بهتر از سایر روش‌ها عمل می‌کند. به‌طوری‌که تنها با یکصد ویژگی استخراج‌شده با استفاده از فشرده‌ساز شبکه عصبی از 7700 ویژگی اولیه می‌توان به صحت قابل قبول % 74.46 در مقابل صحت اولیه % 77.05 با 7700 ویژگی دست یافت.

Feature Extraction and Efficiency Comparison Using Dimension Reduction Methods in Sentiment Analysis Context

Nowadays, users can share their ideas and opinions with widespread access to the Internet and especially social networks. On the other hand, the analysis of people's feelings and ideas can play a significant role in the decision making of organizations and producers. Hence, sentiment analysis or opinion mining is an important field in natural language processing. One of the most common ways to solve such problems is machine learning methods, which creates a model for mapping features to the desired output. One challenge of using machine learning methods in NLP fields is feature selection and extraction among a large number of early features to achieve models with high accuracy. In fact, the high number of features not only cause computational and temporal problems but also have undesirable effects on model accuracy.Studies show that different methods have been used for feature extraction or selection. Some of these methods are based on selecting important features from feature sets such as Principal Component Analysis (PCA) based methods. Some other methods map original features to new ones with less dimensions but with the same semantic relations like neural networks. For example, sparse feature vectors can be converted to dense embedding vectors using neural networkbased methods. Some others use feature set clustering methods and extract less dimension features set like NMF based methods. In this paper, we compare the performance of three methods from these different classes in different dataset sizes.In this study, we use two compression methods using Singular Value Decomposition (SVD) that is based on selecting more important attributes and nonNegative Matrix Factorization (NMF) that is based on clustering early features and one AutoEncoder based method which convert early features to new feature set with the same semantic relations. We compare these methods performance in extracting more effective and fewer features on sentiment analysis task in the Persian dataset. Also, the impact of the compression level and dataset size on the accuracy of the model has been evaluated. Studies show that compression not only reduces computational and time costs but can also increase the accuracy of the model.For experimental analysis, we use the Sentipers dataset that contains more than 19000 samples of user opinions about digital products and sample representation is done with bagofwords vectors. The size of bagofwords vectors or feature vectors is very large because it is the same as vocabulary size. We set up our experiment with 4 subdatasets with different sizes and show the effect of different compression performance on various compression levels (feature count) based on the size of dataset size. According to experiment results of classification with SVM, feature compression using the neural network from 7700 to 2000 features not only increases the speed of processing and reduces storage costs but also increases the accuracy of the model from 77.05% to 77.85% in the largest dataset contains about 19000 samples. Also in the small dataset, the SVD approach can generate better results and by 2000 features from 7700 original features can obtain 63.92 % accuracy compared to 63.57 % early accuracy.Furthermore, the results indicate that compression based on neural network in large dataset with low dimension feature sets is much better than other approaches, so that with only 100 features extracted by neural networkbased autoencoder, the system achieves acceptable 74.46% accuracy against SVD accuracy 67.15% and NMF accuracy 64.09% and the base model accuracy 77.05% with 7700 features.