بهبود وضوح مکانی تصاویر چندطیفی فضایی در نبود تصاویر با توان تفکیک مکانی بالاتر به کمک روش‌های تلفیق تصویر و یادگیری عمیق

بهبود وضوح مکانی تصاویر چندطیفی یکی از پیش‌پردازش‌های رایج در استفاده‌ حداکثری از ظرفیت این تصاویر در کاربردهای سنجش‌ازدوری است. وجود تصاویر با وضوح مکانی بهتر در کنار تصاویر چندطیفی امکان انجام این فرایند را از طریق روش‌های تلفیق تصاویر فراهم می‌آورند. عدم اخذ همزمان تصاویر با وضوح مکانی بالاتر در یک سکوی فضایی، چالش‌های مربوط به هم‌مرجع‌سازی و عدم هم‌زمانی را هنگام بکارگیری تصاویر سایر سنجنده‌های فضایی به فرایند تلفیق تصاویر تحمیل می‌سازد. در چنین شرایطی، تولید تصاویر به کمک روش‌های سوپررزولوشن از رویکردهای جایگزین برای افزایش وضوح مکانی محسوب می‌شوند. استفاده از شبکه‌های عصبی کانولوشنی یکی از روش‌های موثر در این حوزه بوده که آموزش عمیق آنها نیازمند وجود داده‌های آموزشی متعدد است. عموماً دسترسی به دو نسخه تصویر فضایی با توان تفکیک طیفی مشابه و وضوح مکانی متفاوت برای آموزش چنین شبکه‌هایی میسر نیست. از این رو، در این تحقیق روند بهبود وضوح مکانی تصاویر چندطیفی از طریق روشی دو مرحله‌ای به اجرا رسیده است. در گام نخست از یک شبکه‌ عصبی کانولوشنی برای تولید نسخه‌ واضح‌تر رنگی از باندهای مرئی تصاویر چندطیفی استفاده شده که آموزش تقویتی آن به کمک تصاویر بازآرایی شده از بستر گوگل-ارث تامین می‌گردد. در گام دوم، تصویر با وضوح مکانی بهتر در نقش یک تصویر پانکروماتیک با تصویر چندطیفی تلفیق شده و محتوای طیفی به آن افزوده می‌شود. نتایج نشان داد که رویکرد پیشنهادی بدون نیاز به تامین پرهزینه‌ داده‌های آموزشی ضمن تامین شرایط برابر در حفظ محتوای طیفی، توان بهبود وضوح مکانی تصاویر چندطیفی را تا 32/85 درصد بهتر از بهترین روش مقایسه‌ای دارد. 

spatial resolution improvement of the multispectral satellite images in the absence of high spatial resolution images through integration of image fusion and deep learning methods

improving the spatial resolution of multispectral images is one of the common pre-processing steps in reaching the maximum potential of these images in remote sensing applications. the presence of images with higher spatial resolution along with multispectral images allows the process of improving spatial resolution to be performed through image pan-sharpening methods. the lack of simultaneous panchromatic image sensors in the satellite platforms imposes challenges related to co-registration and asynchronies when using images of different satellite sensors in the process of image pan-sharpening. in such a situation, super-resolution techniques are considered as alternative approaches to improve spatial resolution. using the generative adversarial network (gan) is one of the effective methods in this field that require the existence of multiple training data. generally, it is not possible to prepare two satellite images with the same spectral resolution and different spatial resolution from a specific region that is required for training the network. therefore, in this research, an approach with two main steps is designed to improve the spatial resolution of multispectral images. in the first step, a deep super-resolution generative adversarial network is used to improve the resolution of the true color composition of multispectral images. a boosting strategy is exploited to deeply train the gan network using the resampled images extracted from the google-earth. in the second step, the spectral contents are added to the super-resolution images through the traditional pan-sharpening method. the results demonstrated that the proposed approach improved the spatial resolution of multispectral images by 32.85% better than the best comparative method and maintained the spectral content without the need to provide extensive training data.