احتمالات آگاه به محتوا برای قطعه بندی معنایی تصویر

قطعه‌بندی معنایی تصویر مبتنی بر شبکه‌های عصبی عمیق، از رویکردهای مهم محققان بینایی ماشین می باشد. در روش های مبتنی بر شبکه‌های عصبی عمیق، بطور کلی از یک شبکهپایه که برای کاربرد شناسایی تصویر، آموزش دیده است، بمنظور استخراج ویژگی از تصویر استفاده می‌شود. از آنجا که ابعاد ویژگی‌های خروجی از این شبکه‌هایپایه، کوچکتر از تصویر ورودی‌ می‌باشد، لذا با اضافه کردن چندین لایه پیچشی به انتهای این شبکه‌هایپایه، ابعاد ویژگی‌های خروجی از این شبکه‌ها را به اندازه ابعاد تصویر وروی میرسانند. استفاده از ویژگی‌های‌ محلی خروجی از شبکه‌هایپایه، بدون در نظر گرفتن ارتباط کلی بین این ویژگی‌های محلی، منجر به قطعه‌بندی ضعیف و ناهموار می‌شود. بر این اساس، در این تحقیق واحدی با نام &واحد احتمالات آگاه به محتوا& پیشنهاد می‌شود. این واحد با کمک ویژگی‌های محلی خروجی از شبکه‌هایپایه، بردار احتمال حضور کلاس‌های مختلف را در تصویر تولید می‌کند. واحد پیشنهادی را می‌توان در معماری‌های مختلف قطعه‌بندی معنایی تصویر قرار داد. در این تحقیق، با اضافه کردن واحد پیشنهادی cap به معماریهای پایه fcn و deeplabv3plus، به ترتیب معماریهای fcncap و deeplabv3pluscap پیشنهاد شده است. بمنظور آموزش معماریهای پیشنهادی از دادگان pascal voc2012 استفاده شده است. نتایج آزمایش‌ها نشان می دهد که معماریهای پیشنهادی نسبت به معماریهای پایه مربوطه، به ترتیب 9/1درصد و 4/0درصد بهبود دقت (miou) دارد.

Context-Aware Probabilities (CAP) for Semantic Image Segmentation

Semantic image segmentation based on Convolutional Neural Networks (CNNs) is one of the main approaches in computer vision area. The methods based on deep convolutional neural networks, typically use a pretrained CNN trained on the large image classification datasets as a backend to extract features (image descriptors) from the images. Whereas, the special size of output features from CNN backends are smaller than the input images, by stacking multiple deconvolutional layers on the last layer of backend network, the dimension of the output will be the same as the input image. Segmentation using local image descriptors without involving relationships between these local descriptors yield weak and uneven segmentation results. Inspired by these observations, in this research we propose ContextAware Probabilities (CAP) unit. CAP unit generates probabilities for classes using localimage descriptors. This unit can be used in any semantic image segmentation architectures. We used CAP unit in Fully Convolutional Network (FCN) and DeepLabv3plus architectures and propose the new FCNCAP and DeepLabv3plusCAP architectures. Training the proposed architectures on PASCAL VOC2012 dataset shows 1.9% and 0.4% accuracy improvement compared to the corresponding basic architectures, respectively.