تشخیص جعل در تصاویر دیجیتالی با استفاده از روش یادگیری عمیق ترکیبی

امروزه از تصاویر به‌ عنوان ابزار ارتباطی قوی و منبعی از اطلاعات استفاده می‌شود. تصاویر در برخی از کاربردها مانند پزشکی، قضایی و پزشکی قانونی به‌ عنوان مدرک و شاهد استفاده می‌شوند، بنابراین صحت تصویر مهم است. امروزه با گسترش و دردسترس ‌بودن ابزارهای ویرایش تصویر، افراد می‌توانند به‌راحتی تصاویر را دست‌کاری کنند. آن‌ها با اضافه‌کردن بخشی به تصویر یا حذف‌کردن بخشی از تصویر و توزیع اطلاعات غلط اهداف و مشکل‌های سیاسی، فرهنگی، اقتصادی و اجتماعی را دنبال می‌کنند. ازاین‌رو تشخیص جعل تصاویر دیجیتال یکی از موضوع‌های مهم و چالش‌برانگیز در حوزه بینایی کامپیوتر است. در این پژوهش هدف شناسایی تصاویر و پیکسل‌های جعلی و سالم با استفاده از شبکه یادگیری عمیق ترکیبی است. در روش پیشنهادی از سه شبکه از پیش آموزش‌داده‌شده vgg16، mobilenet و efficientnetb0 در سه انشعاب مختلف استفاده‌شده است. برای تشخیص جعل در دو سطح تصویر و پیکسل، ابتدا نقشه‌های ویژگی خروجی سه انشعاب با هم ادغام‌شده و با استفاده از لایه پولینگ میانگین جهانی و لایه امتیازدهی، تصاویر جعل و سالم تشخیص داده می‌شوند. در ادامه با استفاده از نقشه‌های ویژگی ترکیب‌شده از سه انشعاب بر روی تصاویر جعل، یک تصویر نقشه حرارتی ایجاد می‌شود و محدوده پیکسل‌های جعل مشخص می‌شوند. لازم به ذکر است تشخیص پیکسل‌های جعل تنها با استفاده از تصویر نقشه حرارتی ساخته‌شده از شبکه ترکیبی و بدون نیاز به استفاده از تصاویر حقیقی باینری مشخص‌کننده ناحیه جعل در فرآیند آموزش انجام‌شده است. روش پیشنهادی بر روی پایگاه‌داده comofod ارزیابی‌شده است. نتایج ارزیابی‌ها عمل‌کردن مطلوب روش پیشنهادی را در برابر تصاویر جعل با انواع تبدیل‌های هندسی و عملیات پس ‌پردازش نشان می‌دهد.

forgery detection in digital images using the hybrid deep learning method

today, images are used as powerful communication tools and sources of information. in certain applications, such as medicine, justice, and forensics, images serve as evidence. therefore, the validity of an image is crucial. with the spread and availability of image editing tools, people can easily manipulate images to their advantage. they follow political, cultural, economic, and social issues by adding or removing elements from images, often distributing misinformation. consequently, forgery detection is one of the most important and challenging topics in the field of computer vision. this research aims to identify forgery and healthy images and pixels using a hybrid deep learning network. in the proposed method, three pre-trained networks—vgg16, mobilenet, and efficientnetb0—are employed in three different branches. to detect forgery at both the image and pixel levels, the output feature maps from these branches are merged in a concatenate layer. subsequently, a global average pooling layer and a scoring layer are used to identify forgery and healthy images. additionally, feature maps combined from the three branches are utilized to create a heat map image for forgery detection. notably, pixel forgery detection is performed solely using the heat map image generated from the combined network, without relying on ground truth images that specify the forgery area during training. the proposed method is evaluated on the well-known comofod dataset, demonstrating satisfactory performance against forgery images with various geometric transformations and post-processing operations.