تلفیق چندمقیاسی تصاویر ماهواره ای با توان تفکیک مکانی بالا با استفاده از فیلترهای هدایت پذیر گوسین و نقشه تمایز موضعی

تصاویر ماهواره ای با توان تفکیک مکانی بالا دربردارنده عوارض موضعی ساختاری در فرکانس های متعدد بوده که چالش های اساسی را به هنگام پردازش و تولید محصولات قابل اعتماد سنجش ازدور و فتوگرامتری از جمله تلفیق تصاویر چندطیفی با باند پنکروماتیک ایجاد خواهند کرد. درنتیجه، تعادل میان اعوجاجات طیفی و مکانی، کاهش یافته و تصاویر حاصل، از واقع گرایی لازم برخوردار نخواهند بود. این مساله، مانعی اساسی برای بسیاری از روش های سنتی و یادگیرنده است. به علاوه، اختلاف میان داده آموزشی و تست و همچنین عدم دسترسی به داده مرجع، می تواند تعمیم پذیری روش های یادگیرنده را تحت الشعاع قرار دهد. بدین منظور، این تحقیق با ارائه رویکردی دومرحله ای، به دنبال بهبود فرآیند تلفیق پیکسل مبنا (پن شارپ کردن) تصاویر ماهواره ای است. در مرحله اول ، عوارض ساختاری موضعی در رویکردی چندمقیاسی با استفاده از نقشه معیار میانه حاصل از فیلترهای هدایت پذیر گوسین در حوزه مکان و با الهام از الگوریتم شاخص تبدیل ویژگی مستقل از مقیاس (sift) در ادغام با تابع مدل سازی انتقال (mtf) سنجنده بازسازی می شوند. در ادامه، نقشه تمایز دودویی با استفاده از گرادیان های مورفولوژیکی و آستانه گذاری اتسو (otsu) ایجاد می شود. تصویر بازسازی شده حاصل به‌عنوان تصویر راهنما و نقشه تمایز به عنوان فیلتر راهنما درنظرگرفته شده و به منظور بهبود عملکرد و تعمیم پذیری مجموعه ای از روش های شاخص ارائه شده تلفیق در چارچوب های محاسباتی متنوع (مبتنی و عدم مبتنی بر یادگیری عمیق) اعمال می شود. به منظور ارزیابی از چارچوب های متنوع، ازجمله، پارامترهای مبتنی و عدم مبتنی بر تصویر مرجع استفاده شده که نتایج کمی و کیفی حاصل از بهبود عملکرد روش های انتخابی و افزایش واقع گرایی فرآیند تلفیق است. از این میان، الگوریتم شبکه پن شارپ کننده مبتنی بر هرم لاپلاسین (lppn) که مبتنی بر یادگیری عمیق بوده، عملکرد بهتری در مقایسه با روش های دیگر داشته که با استفاده از رویکرد پیشنهادی بهبود یافته است. میانگین معیار ارزیابی بدون مرجع (qnr) روش های انتخابی با استفاده از رویکرد پیشنهادی از 0/931 به 0/9430 و میانگین معیار ارزیابی ترکیبی بدون مرجع (hqnr) از 0/920 به 0/931 افزایش یافته است. همچنین میانگین اعوجاجات طیفی و مکانی نیز به ترتیب از 0/05 به 0/04 و از 0/0576 به 0/0483 کاهش یافته است. میانگین معیار زاویه طیفی (sam) نیز از 3/5022 به 3/268  کاهش یافته است که در مجموع، حاکی از کاهش اعوجاجات و بهبود واقع گرایی فرآیند تلفیق هستند. 

multi-scale fusion of high spatial resolution satellite images based on steerable gaussian filters and local saliency map

high-resolution remote sensing images capture intricate local structural features across a range of frequencies, causing significant challenges in producing reliable remote sensing and photogrammetry products, particularly in the fusion of multispectral images with panchromatic bands. many existing methods suffer from spectral and spatial distortions due to inadequate reconstruction of these local features, which poses a critical obstacle for both traditional and learning-based approaches. furthermore, discrepancies between the training and test samples, with lack of access to reference data, can hinder the generalizability of learning-based methods. accordingly, this paper introduces a novel two-stage approach aimed at enhancing the pixel-based fusion process of satellite images, specifically in pan-sharpening applications. the first stage focuses on reconstructing the local structural features through a multiscale technique inspired by the well-established sift algorithm. this method utilizes a median index map derived from steerable gaussian filters in the spatial domain, and also incorporates the sensor’s modulation transfer function (mtf). following this, a binary saliency map is generated using morphological gradients and otsu thresholding. the reconstructed image and the saliency map are subsequently employed as a guiding image and guiding filter, respectively, and are integrated with various pan-sharpening methods across both conventional and learning-based computational frameworks. the qualitative and quantitative results demonstrate a marked improvement in the performance of these methods, yielding more realistic pansharpened images. notably, the learning-based lppn algorithm shows a superior performance compared to the other methods and is further enhanced by the proposed approach. on average, the quality no-reference (qnr) and the hybrid quality no-reference (hqnr) evaluation metrics for the selected methods using the proposed approach have increased from 0.931 to 0.9430, and from 0.920 to 0.9310, respectively. additionally, the average spectral and spatial distortions have decreased from 0.05 to 0.04 and from 0.0576 to 0.0483, respectively. moreover, the average spectral angle metric (sam) has decreased from 3.5022 to 3.268, indicating a reduction in the distortions and an improvement in the realism of the fusion process.