بکارگیری چارچوب یادگیری انتقال برای قطعه‌بندی معنایی تصاویر با وضوح بالا پهپاد-مبنا در مناطق شهری

قطعه بندی معنایی برای پردازش داده های وسایل نقلیه هوایی بدون سرنشین (uav) یکی از تحقیقات پیشرو در زمینه فتوگرامتری، سنجش ازدور و بینایی کامپیوتر در سال های اخیر بوده است. این روش توجه فزاینده ای را از طرف صنعت و دانشگاه به خود جلب کرده است. بسیاری از کاربردها، از جمله نقشه برداری هوایی صحنه های شهری، تعیین موقعیت اشیا در تصاویر هوایی، استخراج خودکار ساختمان ها از تصاویر سنجش از دور یا هوایی با وضوح بالا و غیره، نیازمند الگوریتم های قطعه بندی دقیق و کارآمد هستند. با این حال، قطعه بندی معنایی مناسب و دقیق با استفاده از رویکرد یادگیری عمیق (آموزش کلی یک شبکه عصبی عمیق با وزن دهی تصادفی) به حجم زیادی از تصاویر آموزشی و برچسب گذاری شده نیاز دارد. با توجه به اینکه در حوزه تصاویر هوایی شهری با  چالش کمبود داده های برچسب گذاری شده مواجه هستیم، در این مقاله از رویکرد یادگیری انتقال برای قطعه‌بندی معنایی تصاویر پهپاد-مبنا نواحی شهری استفاده کرده ایم. روش پیشنهادی، یک چارچوب یادگیری انتقال مبتنی بر معماری رمزگذار-رمزگشا پیچشی deeplabv3plus را با مدل از قبل آموزش دیده resnet-50 در مجموعه imagenet برای قطعه بندی معنایی صحنه های شهری پیاده سازی می‌کند. مجموعه داده مورد مطالعه در این تحقیق، مجموعه uavid2020، یک مجموعه داده قطعه بندی معنایی پهپاد-مبنا در منطقه شهری از انجمن بین المللی فتوگرامتری و سنجش ازدور (isprs) است. برای ارزیابی عملکرد قطعه بندی معنایی روش پیشنهادی، از شبکه های عصبی u-net و seg-net استفاده کردیم. نتایج بدست آمده از قطعه بندی معنایی تصاویر پهپاد-مبنا، اثربخشی چارچوب یادگیری انتقال پیشنهادی را نسبت به مدل های یادگیری عمیق نشان می دهد. از نظر معیار دقت کلی، معماری deeplabv3plus-resnet50 بهترین نتیجه را با 81.93% دقت در مقایسه با شبکه های عصبی u-net و seg-net با دقت های 74.35% و 79.15% و کسب کرد. 

transfer learning framework for semantic segmentation of high-resolution uav-based images in urban area

semantic segmentation technique for unmanned aerial vehicle (uav) data processing has been one of the leading researches in photogrammetry, remote sensing, and computer vision in recent years. this technique has attracted increasing attention from industry and academia (a wide range of academic and real-world applications). many applications, including aerial mapping of urban scenes, positioning objects in aerial images, automatic extraction of buildings from remote sensing or high-resolution aerial images, etc., require accurate and efficient segmentation algorithms. however, proper and accurate semantic segmentation using a deep learning approach (overall training of a deep neural network with random weighting) requires a large amount of training and labeled images. as we are facing the challenge of a lack of labeled data in the field of urban aerial images, we used the transfer learning approach for the semantic segmentation of the uav-based images of urban areas in this paper. the proposed method implements a transfer learning framework based on deeplabv3plus convolutional encoder-decoder architecture with resnet-50 pre-trained model in imagenet collection for semantic segmentation of the urban scenes. the dataset studied in this research is the uavid2020, an urban uav-based semantic segmentation dataset from the international society for photogrammetry and remote sensing (isprs). we used traditional deep learning models (u-net and seg-net convolutional encoder-decoder neural networks) to evaluate the semantic segmentation performance of the proposed method. finally, the results of  the semantic segmentation of uav-based images show the effectiveness of the proposed transfer learning framework compared to  the deep learning models, in terms of the overall accuracy metric. the deeplabv3plus-resnet50 architecture achieved the best result with 81.93% compared to u-net and seg-net neural networks with 74.35% and 79.15% respectively.