ثبت تصویر سنجش از دور چند زمانی با استفاده از شبکه‌های عصبی عمیق و نواحی مورد علاقه

هدف از ثبت تصویر، تراز کردن دو یا چند تصویر است که از یک صحنه، در زمان‌های مختلف ویا از دیدگاه‌های مختلف و با استفاده از دستگاه های مختلف گرفته شده است. در سال‌های اخیر با بهبود مستمر توانایی رصد زمین، نیاز به مدل‌های جدید ثبت تصویر که بتواند محاسبات بالای این ثبت و پردازش تصاویر را انجام دهد و همچنین از دقت بالایی برخوردار باشد، مشاهده می‌شود. در این مقاله، به منظور کاهش ناحیه جست‌و‌جو و افزایش دقت از نواحی مورد علاقه استفاده می‌شود. برای این منظور ابتدا ناحیه‌هایی که بین دو تصویر یکسان هستند، شناسایی می‌شوند و سپس، ثبت تصویر با توجه به ناحیه‌های مشابه صورت می‌گیرد. برای پیدا کردن ناحیه مورد علاقه، از یک مدل شبکه عصبی عمیق ترانسفورمر استفاده شده است. شبکه عصبی عمیق ترانسفورمر مورد استفاده شامل چندین لایه توجه درونی و توجه متقاطع است که وظیفه یادگیری اهمیت موقعیت‌های مختلف در درون یک تصویر و بین دو تصویر را دارد. مدل پیشنهادی یک مدل خودنظارتی است که از روش تعویض بخش برای تولید داده‌های آموزشی استفاده می‌کند. داده‌های آموزشی، از تصاویر google earth جمع‌آوری شده است و توسط ما نشانه‌گذاری شده‌است. پس از آموزش مدل و بدست آوردن ناحیه‌های مشابه از روش رایج sift برای بدست آوردن ویژگی‌ها و ثبت تصویر استفاده می‌کنیم. برای آزمایش، از تصاویر هوایی sentinel-2 استفاده کرده‌ایم. برای ارزیابی کمی نتایج، از ریشه میانگین مربعات خطا استفاده می‌کنیم. نتایج کمی و کیفی نشان دهنده بهبود عملکرد در هزینه و دقت، در مقایسه با روش استفاده از ویژگی های sift و نیز یک روش مبتنی برشبکه عصبی عمیق برای ثبت تصاویر هوایی است؛ بطوری که میانگین خطای ثبت تصاویر بر حسب پیکسل 3/5 برابر نسبت به مدل sift و 17 برابر نسبت به مدل شبکه عصبی عمیق کاهش داشته است.

multi-temporal remote sensing image registration with deep neural networks and region of interest

the purpose of image registration is to align two or more images taken from the same scene at different times and/or from different perspectives and/or using different devices. in recent years, with the continuous improvement of human ability to observe the earth, the accuracy and quality of remote sensing images have increased. therefore, the need for new image registration models that can perform high calculations of these images and also have good accuracy is observed. in this thesis, we have used a new method to solve these problems. the proposed solution includes the use of regions of interest in order to reduce the search area and increase the accuracy. for this purpose, first, the areas that are the same between two images are identified, and then, the image is registered according to the similar areas. to find the region of interest, a deep transformer neural network model is used. the proposed deep neural network of the transformer includes several layers of inner-attention and cross-attention, which has the task of learning the importance of different positions within an image and between two images. the proposed model is a self-supervised method that generate training data using the segment swapping. the training data was collected from google earth images and annotated by us. after training the model and obtaining the similar regions, we use the common sift model to obtain the image registration. for testing, we have used sentinel-2 aerial images. to quantitatively evaluate the result, we use the root mean square error. quantitative and qualitative results show a significant performance gap in cost and accuracy, compared to conventional methods of capturing aerial images.