the role of feature engineering in prediction of tehran stock exchange index based on lstm

In this research, the impact of different preprocessing methods on the long-short term memory in predicting the financial time series was examined. at first, the model was implemented on the tehran stock exchange index by utilizing the principal component analysis (pca) model on 78 technical indicators. then, the same model was implemented by the advantage of the random forest to select features rather than the pca to extract them. in the next step, other technical strategy dummy variables were added to the model to examine the changes in its performance. finally, two deep learning methods with the advantage of only target lags were deployed to compare the accuracy to the other models. the first deep model was plain but the second one was with the advantage of the wavelet denoising process. the results of the mse, mae, mape, and r2 score on unseen test sequences showed that applying the long short-term memory with its own deep feature extraction procedure and the wavelet’s denoising process leads to the best accuracy in prediction of the tehran stock exchange index. finally, the diebold mariano test exposed a significant difference between the accuracy of the best model and the rest. this result implied that although the application of deep learning gains accurate results, it can be alleviated by feeding the model with creatively extracted and denoised features.

تأثیر روش های مختلف پیش‌پردازش داده برای پیش‌بینی شاخص بورس تهران با استفاده از شبکه عصبی حافظه کوتاه و بلند مدت ماندگار

در این تحقیق به منظور پیش‌بینی داده های سری زمانی مالی با استفاده از شبکه عصبی حافظه کوتاه و بلند مدت ماندگا تاثیر روش های مختلف پیش‌پردازش داده ها با همدیگر مقایسه شده است. در روش اول داده های مربوط به 78 اندیکاتور تکنیکال به الگوریتم  تحلیل مولفه های اولیه داده شده و با استفاده از خروجی های آن، مدل پیش‌بینی پیاده سازی شده است. در روش دوم به جای استخراج مؤلفه های موثر، برای انتخاب موثر ترین متغیر ها از الگوریتم جنگل تصادفی استفاده شد. در آزمایشی دیگر از متغیر های تولید شده توسط استراتژی های تکنیکال برای توسعه الگوریتم پیش‌بینی استفاده شده است. در نهایت با استفاده از مدل یادگیری عمیق سری زمانی تغذیه شده توسط وقفه های متغیر وابسته، یک بار با کمک موجک و نوفه زدایی و بار دیگر بدون موجک پیش‌بینی انجام شده است. نتایج حاصل شده از توابع متعدد سنجش خطا از جمله MSE, MAE, MAPE و نیکویی برازش بر روی داده های آزمون نشان داد که مدل یادگیری عمیق به همراه موجک بهترین پیش‌بینی را بر روی شاخص بورس تهران ارائه داده اند. در نهایت آزمون دیابود ماریانو نشان داد که اختلاف دقت روش های مقایسه شده در این تحقیق از حیث آماری معنی دار میباشد. به طور خلاصه این تحقیق نشان داد که با وجود این که مدل های یادگیری عمیق توان خوبی برای استخراج دانش از میان داده های سری زمانی مربوط به شاخص بورس تهران را دارند، این عملکرد را با استفاده از تکنیک نوفه زدایی موجک بهبود بخشیده می شود.