بهبود تقطیع معنایی ویدئو با استفاده از شبکه‌های عصبی عمیق و جریان نوری

امروزه از تقطیع معنایی ویدئو در کاربردهای بسیاری از قبیل خودروهای بدون سرنشین، سیستم‌های ناوبری، سیستم‌های واقعیت مجازی و ... استفاده می‌شود. در سال‌های اخیر پیشرفت چشم‌گیری در تقطیع معنایی تصاویر مشاهده شده است. اما از آن‌جا که فریم‌های پشت سر هم یک ویدئو باید با سرعت بالا و تاخیر کم و به صورت بلادرنگ پردازش شوند استفاده از تقطیع معنایی تصویر روی تک تک فریم‌های ویدئو با مشکل مواجه می‌شود؛ بنابراین تقطیع معنایی فریم‌های یک ویدئو به صورت بلادرنگ و با دقت مناسب موضوعی چالش برانگیز است. به منظور مقابله با چالش‌ ذکر شده، در این مقاله یک چارچوب تقطیع معنایی ویدئو معرفی شده است که با در نظر گرفتن تغییرات فریم‌های پشت سر هم (با استفاده از جریان نوری) و بهره گیری از شبکه عمیق بازگشتی gru، از اطلاعات تقطیع معنایی فریم‌های قبلی به منظور افزایش سرعت و دقت استفاده شده است. یک ورودی شبکه gru تخمینی از تقطیع معنایی فریم فعلی (حاصل از یک شبکه عمیق کانولوشنال از پیش آموزش دیده)، و ورودی دیگر آن لغزش یافته تقطیع معنایی فریم قبلی در راستای جریان نوری دو فریم قبلی و فعلی می‌باشد. روش پیشنهادی دارای دقت و سرعت قابل رقابت با شناخته شده‌ترین و بهترین روش‌ها می‌باشد. دقت تقطیع معنایی بر اساس معیار ارزیابی miou روی مجموعه داده‌های cityscapes و camvid به ترتیب برابر با 83.1 و 79.8 می‌باشد. این در حالیست که در روش پیشنهادی سرعت تقطیع معنایی با استفاده از یک gpu تسلا مدل p4 روی مجموعه داده‌های cityscapes و camvid به ترتیب به 34 و 36.3 فریم بر ثانیه رسیده است.

Improving Video Semantic Segmentation using Deep Neural Networks and Optical Flow

Nowadays, video semantic segmentation is used in many applications such as automatic driving, navigation systems, virtual reality systems, etc. In recent years, significant progress has been observed in semantic segmentation of images. Since the consecutive frames of a video must be processed with high speed, low latency, and in real time, using semantic image segmentation methods on individual video frames is not efficient. Therefore, semantic segmentation of video frames in real time and with appropriate accuracy is a challenging topic. In order to encounter the mentioned challenge, a video semantic segmentation framework has been introduced. In this method, the previous frames semantic segmentation has been used to increase speed and accuracy. For this manner we use the optical flow (change of continuous frames) and a GRU deep neural network called ConvGRU. One of the GRU input is estimation of current frames semantic segmentation (resulting from a pretrained convolutional neural network), and the other one is warping of previous frames semantic segmentation along the optical flow. The proposed method has competitive results on accuracy and speed. This method achieves good performances on two challenging video semantic segmentation datasets, particularly 83.1% mIoU on Cityscapes and 79.8% mIoU on CamVid dataset. Meanwhile, in the proposed method, the semantic segmentation speed using a Tesla P4 GPU on the Cityscapes and Camvid datasets has reached 34 and 36.3 fps, respectively.