ترکیب هرمی تصاویر مبتنی بر تبدیل کانتورلت و تفکیک ساختاری بهبود یافته

اخیرا، روشی برای ترکیب تصاویر چندنوری بر مبنای تفکیک ساختاری تصویرها به سه بخش، شامل قدرت سیگنال، ساختار سیگنال و میانگین سیگنال، ارائه شده است. در این مقاله، به‌دنبال استفاده از این نحوه تفکیک، برای ترکیب تصویرها در حوزه‌های دیگر، از جمله تصاویر چندحالته پزشکی، تصاویر چندکانونی و تصاویر مادون قرمز و مرئی هستیم. برای افزایش کیفیت ترکیب، علاوه بر معرفی ضریب وزنی پیشنهادی در تفکیک ساختاری، از تبدیل کانتورلت و تشکیل ساختار هرمی نیز استفاده شده است. ابتدا با به‌کارگیری تبدیل کانتورلت، هر یک از k تصویر اولیه ورودی، به زیرباندهای فرکانس پایین و فرکانس بالا، بازنمایی می‌گردند. سپس، تمامی زیرباندهای متناظر (حاصل از مقیاس‌ها و جهت‌های یکسان در کانتورلت)، به‌صورت مجزا و در یک روند تکراری، با یکدیگر ترکیب می‌شوند. در این روند تکراری، ابتدا برای هر یک از k زیرباند متناظر، یک ساختار هرمی مجزا (شامل لایه‌های تقریب و جزئیات) ایجاد می‌گردد. این لایه‌ها، با نمونه‌برداری کاهشی زیرباندها و تفکیک ساختاری مبتنی بر ضریب وزنی جدید پیشنهادی، به‌دست می‌آیند. سپس، عمل ترکیب، در جهت معکوس ساختار هرمی، انجام می‌گیرد و تصویر ترکیب شده‌ مربوط به k زیرباند متناظر مدنظر، حاصل می‌گردد. با تکرار این روند، تصویر ترکیب شده برای تمامی زیرباندهای متناظر، به‌دست خواهد آمد. در انتها، تصویر ترکیب‌شده نهایی، با اعمال تبدیل کانتورلت معکوس، روی تصویرهای ترکیب‌شده زیرباندها، حاصل می‌گردد. مقایسه‌های متعدد بصری و کمی با 7 روش متداول در این حوزه انجام شده است. از لحاظ بصری، روش پیشنهادی بالاترین کیفیت را ارائه می‌دهد. در مقایسه‌های کمی نیز که بر اساس 6 معیار مختلف صورت گرفته است، در هر سه دسته تصاویر مورد ارزیابی (تصاویر چندحالته پزشکی، تصاویر چندکانونی و تصاویر مرئی و مادون قرمز)، روش پیشنهادی حداقل در 3 معیار، در رتبه اول قرار گرفته است.

pyramid image fusion based on contourlet and enhanced structural decomposition

recently, a method for multi‌exposure images fusion based on structural decomposition of images into three parts including signal strength, signal structure and signal mean has been introduced. in this paper, we seek to use this decomposition, for images fusion in other fields, including multimodal medical, multi‌focus, and infrared and visible images. to increase the fusion quality, besides the introduction of the proposed weighting factor in the structural decomposition, contourlet transformation and the pyramidal structure have also been used. first, each of the k input images are represented into low frequency and high frequency subbands, by using contourlet transform. then, all the corresponding subbands (resulting from the same scales and directions) are fused with each other, separately and in an iterative process. in this iterative process, first, a separate pyramid structure (including approximation and detail layers) is created for each of the corresponding k subbands. these layers are obtained by the down‌sampling of subbands and structural separation based on the proposed new weighting factor. then, the fusion is performed in the reverse direction of the pyramidal structure and the fused image of the k corresponding subband is obtained. by repeating this process, the fused image will be obtained for all the corresponding subbands. at the end, the final fused image is obtained by the inverse contourlet transformation on the fused images of the subbands. several visual and quantitative comparisons, with 7 common methods in this field, have been made. in the visual aspect, the proposed method shows the highest quality. in quantitative comparisons based on 6 different criteria, in all three categories of evaluated images (multimodal medical images, multi‌focus images, and visible and infrared images), the proposed method ranked first in at least 3 criteria.