شناسایی صحنه، مبتنی بر همجوشی در دادگان جدید چندطیفی (مرئی-فروسرخ) و شبکه های پیچشی ژرف، با رویکرد یادگیری انتقالی

در دهه های اخیر، تکنیک های مختلفی در حوزه بینایی کامپیوتر، برای طبقه بندی و شناسایی صحنه ها در فضاهای مختلف، بر روی تصاویر طیف مرئی ارائه شده است. در این مقاله، ابتدا یک پایگاه داده تصویری چند طیفی، شامل زوج تصاویر طیف مرئی رنگی  و فروسرخ  ایجاد می شود. سپس با تجزیه تصاویر طیف مرئی و فروسرخ، به وسیله تبدیل موجک  و استفاده از یک روش وزن دهی مبتنی بر آموزش شبکه های عصبی پیچشی ژرف، همجوشی تصاویر انجام می شود. همچنین این رویکرد، با چندین روش همجوشی دیگر و با استفاده از معیارهای ارزیابی کمی، مقایسه می شود. در نهایت، با استفاده از معماری های مبتنی بر شبکه های عصبی پیچشی ژرف  آموزش دیده ، تصاویر صحنه های مختلف، طبقه بندی می شوند. برای آموزش این شبکه ها بر روی مجموع تصاویر این پایگاه داده کوچک، از رویکرد یادگیری انتقالی، استفاده می شود تا طبقه بندی صحنه، با کمترین هزینه محاسباتی انجام گیرد. نتایج تجربی نشان می دهند که روش پیشنهادی، در طبقه بندی صحنه، که به صورت همجوشی تصاویر چهارکاناله (rgb-ir) صورت گرفته است، کارآمد بوده و ضمن داشتن معیارهای کمی همجوشی بالاتر، منجر به عملکرد بهتر، در مقایسه با سایر رویکردهای همجوشی تصاویر چندطیفی و با دقت طبقه بندی 96.67% می شود.

scene recognition in new multi-spectral dataset (rgb-ir) and deep convolutional networks with transfer learning approach

in recent decades, various techniques in the field of computer vision have been proposed to classify and identify scenes in different spaces on visible spectrum images. recently, improvements in various areas of machine vision using complementary features in visible and infrared images have been reported by researchers. this approach can also work for the subject of scene recognition. in this paper, we first create a multispectral image database, including pairs of color-visible and infrared spectrum images. then, the images are fused by wavelet transform and using a weighting method based on training the deep convolutional neural networks. this approach is also compared with several other fusion methods using quantitative evaluation criteria. finally, images of different scenes are classified using architectures based on deeply trained convolutional neural networks. transfer learning approach is also used to classify the scene with the least computational cost. experimental results show that the proposed method has been effective in scene classification, which is done by fusion of four-channel images (rgb-ir) with a classification accuracy of 96.67%. this method also shows better quantitative fusion criteria than other multispectral image fusion approaches.