بررسی توانایی شبکه‌های عصبی کانولوشن سه‌بعدی و شبکه‌های عصبی بازگشتی بر طبقه‌بندی دقیق‌تر محصولات کشاورزی با استفاده از تصاویر سری زمانی نوری

یکی از چالش‌های جدی در حوزه سنجش‌ازدور، استخراج ویژگی‌های مناسب از داده‌های ماهواره‌ای می‌باشد. با ظهور نسل جدیدی از شبکه‌های عصبی عمیق، قابلیت استخراج ویژگی‌ها و همچنین طبقه‌بندی دقیق محصولات به طور اتوماتیک امکانپذیر شده است. از سویی، استخراج ویژگی‌های مناسب می‌تواند تا حدی اثرات شباهت طیفی را در شناسایی محصولات مختلف کاهش دهند و باعث بهبود دقت طبقه‌بندی محصولات شوند. همچنین استفاده از داده‌های چند زمانه در طول دوره رشد، اطلاعات مفیدی درباره محصولات در اختیار محققین قرار می‌دهد. در این راستا، باهدف دستیابی به ویژگی‌های مناسب از تصاویر سری زمانی، سه روش شبکه‌های عصبی کانولوشن سه‌بعدی، شبکه عصبی حافظه طولانی کوتاه‌مدت و واحد بازگشتی دروازه‌ای در این تحقیق مورد بررسی و ارزیابی قرار گرفتند. در معماری بررسی شده برای شبکه عصبی کانولوشن سه‌بعدی، تلاش بر آن شد که بهترین بردارهای ویژگی زمانی - مکانی از تصاویر استخراج شوند و سپس نتایج بدست آمده از این شبکه با دو روش شبکه‌های بازگشتی مورد مقایسه قرار گیرند. درنهایت، پارامترهای ارزیابی بدست آمده از ماتریس خطا در این تحقیق نشان می‌دهد که شبکه عصبی کانولوشن سه‌بعدی، با حصول دقت کلی 90.70% و ضریب کاپا 89.37% به ترتیب در حدود 3.50% و 4.00% نسبت به شبکه عصبی حافظه طولانی کوتاه‌مدت توانایی بیشتری در شناسایی محصولات داشته است. همچنین دقت کلی نتایج طبقه‌بندی توسط شبکه واحد بازگشتی دروازه‌ای نزدیک به‌دقت کلی شبکه عصبی کانولوشن سه‌بعدی بوده است و تنها دقت کلی این روش  1.48% از شبکه واحد بازگشتی دروازه‌ای بهتر عمل کرده است. بنابراین نتایج حاصل موید کارایی شبکه عصبی کانولوشن سه‌بعدی برای شناسایی و طبقه‌بندی محصولات می‌باشد.

investigating three-dimensional convolutional and recurrent neural networks for crop classification using time-series optical images

one of the serious challenges in remote sensing is extracting suitable features. with the presence of a new generation of deep neural networks, automatic and accurate feature extraction and classification of crops have become possible. on the other hand, appropriate features can partially reduce the effects of spectral similarity in the detection of different crops while improving classification accuracy. also, the use of time-series data during the crop growth period provides useful information about crops to researchers. in this regard, this research aimed to investigate and evaluate three methods, three-dimensional convolutional neural network (3d-cnn), long short-term memory (lstm), and gated recurrent unit (gru), to extract appropriate features from time-series optical images. in the architecture of 3d-cnn, an attempt was made to design a structure so that the optimal spatial-temporal features could be extracted from time series images, and then the results were evaluated and compared with two other methods (i.e. lstm, gru). finally, according to the results, 3d-cnn, with an overall accuracy (oa) of 90.70% and a kappa coefficient (kc) of 89.37%, which were about 3.50% and 4.00% higher than the oa and kc of lstm, respectively, demonstrated a greater capability to identify crops. moreover, the oa of the results of the classification by gru was close to the oa of 3d-cnn, and only the oa of this method was 1.48% better than gru. therefore, the results confirmed the efficiency and suitability of 3d-cnn for crop classification.