قطعه‌بندی معنایی تصاویر خودروهای خودران با بهره‌گیری از روش معلم دانش‌آموز

قطعه‌بندی معنایی یکی از رایج‌ترین خروجی‌های پردازش تصویری برای خودروهای خودران مجهز به بینایی است. مدل‌های مبتنی بر یادگیری عمیق جهت یاد گرفتن ویژگی‌های محیطی جدید و با دامنه متفاوت نیازمند در اختیار داشتن انبوهی از داده هستند. اما فرآیند برچسب‌گذاری دستی این حجم از داده توسط انسان بسیار زمان‌بر خواهد بود. در حالی که رویکرد بسیاری از مقالات مبتنی بر آموزش مدل‌های یادگیری عمیق با روش نظارتی است، در این مقاله از روش نیمه نظارتی جهت اعمال قطعه‌بندی معنایی بهره گرفته می‌شود. به‌طور دقیق‌تر در این پژوهش، روش معلم دانش‌آموز جهت برقراری تعامل میان مدل‌های یادگیری عمیق به‌ کار گرفته می‌شود. در ابتدا مدل‌های dabnet و contextnet در جایگاه معلم با استفاده از پایگاه داده bdd100k آموزش داده می‌شوند. با توجه به اهمیت قابلیت تعمیم پذیری و مقاوم بودن مدل‌های مورد استفاده در خودروهای خودران، این معیارهای شبکه‌های معلم با شبیه‌سازی در نرم‌افزار carla مورد ارزیابی قرار گرفته‌اند. سپس شبکه‌های معلم، پایگاه داده cityscapes را به‌طور کامل و بدون دخالت انسان در فرآیند آموزش با بهره‌گیری از یادگیری نیمه نظارتی به مدل fastscnn آموزش داده‌اند. برخلاف سایر رویکردهای نیمه نظارتی، وجود دو پایگاه داده با اختلاف دامنه قابل توجه، روش معلم دانش‌آموز را بیشتر به چالش خواهد کشید. نتایج نشان می‌دهد عملکرد مدل دانش‌آموز در کلاس‌هایی نظیر خودرو، انسان و جاده که شناسایی آن‌ها از مهم‌ترین اولویت‌های خودرو خودران است به‌ترتیب به میزان 1.2%، 3% و 3.8% با برچسب‌گذاری دستی اختلاف دارد. همچنین میانگین دقت مدل دانش‌آموز نیز تنها 4.5% اختلاف عملکرد با مدلی دارد که آماده‌سازی پایگاه داده آن نیازمند صرف زمان بسیار زیاد است.

The Semantic Segmentation of Autonomous Vehicles Images with the TeacherStudent Technique

Semantic segmentation is one of the most common image processing outputs for visionbased autonomous vehicles. Deep neural networks require largescale data in order to learn new environment features with diverse domains. While the approach of a great deal of papers is based on supervised learning, in this paper, semantic segmentation has been implemented by taking advantage of the semisupervised learning method. To be more specific, in this study the teacherstudent technique is utilized to establish a connection for the interaction between the deep learning models. First, the DABNet and ContextNet models are trained as our teacher networks with the BDD100K database. Regarding the significance of generalization and robustness of models in autonomous vehicles, these criteria of the teacher models have been evaluated by simulations in CARLA software. Finally, teacher networks train the FastSCNN model automatically using the Cityscapes database without any human interference. In contrast with other semisupervised approaches, the existence of two different databases with noticeable amount of domainshift effect would challenge the studentteacher technique even more. The results indicate that student’s performance in classes such as vehicles, pedestrians, and road, which are the highest priority classes to detect, has only 1.2%, 3%, and 3.8% accuracy difference, respectively. Also, there is a 4.5% drop for the model’s mean intersection over union accuracy between the teacher’s performance and a similar model trained with an entirely supervised method. Also, the mean accuracy for the student model has only 4.5% difference in performance with a model whose data base needs a long time for preparation.