تخمین جریان نوری با استفاده از تقسیم‌بندی معنایی و شبکه عصبی عمیق aes

اهمیت و نیاز به درک صحنه های بصری به علت پیشرفت سامانه‌های خودکار به‌طور پیوسته افزایش یافته است. جریان نوری یکی از ابزارهای درک صحنه‌های بصری است. روش های جریان نوری موجود، مفروضات کلی و همگن فضایی، در مورد ساختار فضایی جریان نوری ارائه می دهند. درواقع، جریان نوری در یک تصویر، بسته به کلاس شی و همچنین نوع حرکت اشیاء مختلف، متفاوت است. فرض اول در میان بسیاری از روش‌ها در این زمینه، پایداری روشنایی در طی حرکت پیکسل ها بین فریم ها است. ثابت شده است که این فرض در حالت کلی صحیح ناست. در این پژوهش از تقسیم‌بندی اشیای موجود در تصویر و تعیین حرکت اشیا  به‌جای حرکت پیکسلی کمک گرفته شده است. درواقع از پیشرفت های اخیر شبکه‌های عصبی کانولوشن در تقسیم بندی معنایی صحنه های استاتیک، برای تقسیم تصویر به اشیا مختلف بهره گرفته می شود و الگوهای مختلف حرکتی بسته به نوعشی تعریف می شود. سپس، تخمین جریان نوری با استفاده از ایجاد یک شبکه عصبی کانولوشن عمیق برای تصویری که در مرحله اول تقسیم بندی معنایی شده است، انجام می شود. روش پیشنهادی کمترین خطا در معیار جریان نوری برای پایگاه داده kitti2015 را فراهم می آورد و تقسیم بندی بهتری را نسبت به روش های اخیر در طیف وسیعی از فیلم های طبیعی تولید می کند.

Estimation of Optical Flow using Semantic Segmentation and AES Deep Neural Network

The importance and demand of visual scene understanding have been increasing because of autonomous systems development. Optical flow is known as an important tool for scene understanding. Current optical flow methods present general assumptions and spatial homogeneous for spatial structure of flow. In fact, the optical flow in an image depends on object class and the type of object movement. The first assumption in many methods in this field is the brightness constancy during movements of pixels between frames. This assumption is proven to be inaccurate in general. In this paper, we use recent development of deep convolutional networks in semantic segmentation of static scenes to divide an image in to different objects and also depends on type of the object different movement patterns are defined. Next, estimation of the optical flow is performed by using deep neural network for initial image which has been semantically segmented. The proposed method provides minimum error in optical flow measures for KITTI2015 database and results in more accurate segmentation compared to stateoftheart methods for several natural videos.