بازیابی تصویر مبتنی بر محتوا با استفاده از همجوشی نتایج چندسطحی

بازیابی تصویر مبتنی بر محتوا استفاده از روش‌های بینایی ماشین برای بازیابی تصاویری از یک مجموعه است که به تصویر پرس‌وجو شبیه باشند. چالش اصلی این سیستم‌ها کاهش شکاف معنایی بین ویژگی‌های سطح‌پایین مستخرج از پیکسل و قطعه تصویر و مفاهیم سطح‌بالای موجود در آن است. یکی از روش‌های کاهش این فاصله استفاده از ویژگی‌های سطح‌بالای مستخرج از نواحی و اشیا برای بازیابی است. از طرفی ویژگی‌های سطح‌پایین نیز تمایز خوبی بین خود تصاویر اعمال می‌کنند. بر این اساس انتظار می‌رود استفاده از هر دو دسته ویژگی به نتایج بهتری منجر شود. در این پژوهش بازیابی تصویر در چهار سطح پیکسل، ناحیه، شیء و مفهوم انجام‌شده است و از همجوشی نتایج این سطوح به‌منظور کاهش شکاف معنایی استفاده‌شده است. در سطح پیکسل، از ویژگی‌های sift و lbp استفاده‌شده است. در سطح ناحیه، ابتدا تصویر به چند ناحیه افراز و سپس ویژگی‌های رنگ و بافت با استفاده از توصیفگر hue و فیلتر گابور از هر یک از نواحی تصویر استخراج‌شده است. در سطح شیء از شبکه عصبی کانولوشنی alexnet برای بازشناسی اشیاء و صحنه‌های درون تصویر و در سطح مفهوم از شبکه عصبی word2vec برای سنجش شباهت معنایی تصاویر استفاده‌شده است. نتایج بازیابی روی دو پایگاه داده wang و ghim نشان‌دهنده بهبود دقت و فراخوانی در بازیابی تصویر است.

Content Based Image Retrieval by Fusion of Multilevel Results

Content based image retrieval (CBIR) applies machine vision techniques to extract similar images for a given query image. The main challenge of CBIR is the semantic gap between low level pixel and segment based features and highlevel concepts in the image. An approach towards reducing this gaps is to use high level region and object based features. However, the lowlevel features describe image details and enforce between image discriminations. Accordingly, it is expected that the use of both feature types will lead to better results. This paper tries to reduce the mentioned gap by combining decision results at four granularities, namely pixel, region, object, and concept levels. Pixel level retrieval adopts SIFT features and local binary patterns. Region level subsystem partitions the image into a set of segments and extracts their color and texture features using hue descriptor and Gabor filters for subsequent processing. AlexNet convolutional neural network is employed for object based retrieval. Word2vec embedding is used for concept level retrieval that exploits conceptual relations between objects to enhance the retrieval results. Experiments over Wang and GHIM datasets confirm the feasibility of the proposed combination and conclude that it improves overall performance of the retrieval system.