ویژگی‌های آگاه به محتوا برای قطعه‌بندی معنایی تصویر

قطعه بندی معنایی تصویر مبتنی بر شبکه های عصبی عمیق، از رویکردهای مهم محققان بینایی ماشین می باشد. در روش های مبتنی بر شبکه های عصبی عمیق، بطور کلی از یک شبکه پایه که برای کاربرد شناسایی تصویر، آموزش دیده است، بمنظور استخراج ویژگی از تصویر استفاده می شود. از آنجا که ابعاد ویژگی های خروجی از این شبکه های پایه کوچکتر از تصویر ورودی می باشد، لذا با اضافه کردن چندین لایه کانولوشنی به انتهای این شبکه های پایه، ابعاد ویژگی های خروجی از این شبکه ها را به اندازه ابعاد تصویر ورودی می رسانند. استفاده از ویژگی های محلی خروجی از شبکه های پایه، بدون در نظر گرفتن ارتباط کلی بین این ویژگی های محلی، منجر به قطعه بندی ضعیف و ناهموار می شود. بر این اساس، در این تحقیق واحدی با نام واحد ویژگی های آگاه به محتوا پیشنهاد می شود. این واحد با کمک ویژگی های محلی خروجی از شبکه های پایه، ویژگی های سطحتصویر ایجاد می کند. واحد پیشنهادی را می توان در معماری های مختلف قطعه بندی معنایی تصویر قرار داد. در این تحقیق، با اضافه کردن واحد پیشنهادی caf به معماری‌های پایه fcn و deeplab-v3-plus، به ترتیب معماری‌های fcn-caf و deeplab-v3-plus-caf پیشنهاد شده است. بمنظور آموزش معماری‌های پیشنهادی از دادگان pascal voc2012 استفاده شده است. نتایج آزمایش ها نشان می دهد که معماری‌های پیشنهادی نسبت به معماری‌های پایه مربوطه، به ترتیب 2.7 و 1.81درصد بهبود دقت (miou) دارد.

ContextAware Features (CAF) for Semantic Image Segmentation

Semantic image segmentation based on Convolutional Neural Networks (CNNs) is one of the main approaches in computer vision area. In convolutional neural networkbased approaches, a pretrained CNN which is trained on the large image classification datasets is generally used as a backend to extract features (image descriptors) from the images. Whereas, the special size of output features from CNN backends are smaller than the input images, by stacking multiple deconvolutional layers to the last layer of backend network, the dimension of output will be the same as the input image. Segmentation using local image descriptors without involving relationships between these local descriptors yield weak and uneven segmentation results. Inspired by these observations, in this research we propose ContextAware Features (CAF) unit. CAF unit generate imagelevel features using localimage descriptors. This unit can be integrated into different semantic image segmentation architectures. In this study, by adding the proposed CAF unit to the Fully Convolutional Network (FCN) and DeepLabv3plus base architectures, the FCNCAF and DeepLabv3plusCAF architectures are proposed respectively. PASCAL VOC2012 datasets have been used to train the proposed architectures. Experimental results show that the proposed architectures have 2.7% and 1.81% accuracy improvement (mIoU) compared to the related basic architectures, respectively.