طراحی الگوریتم آمیختگی بر مبنای مدل یادگیری عمیق pointnet در ابر نقاط سه‌بعدی و داده‌های تصویری در خودروهای خودران

با توجه به لزوم تشخیص زمان حقیقی اشیاء و موانع در خودروهای خودران و سیستمهای کمک راننده‌ی پیشرفته، در این مقاله با استفاده از آمیختگی اطلاعات به‌دست‌آمده از تصاویر rgb دوربین‌های طیف مرئی و ابر نقاط حاصل از لیدار، اشیاء موردنظر به‌صورت کاملاً موثر شناسایی، طبقه‌بندی و ردگیری می‌شوند. در این مقاله به‌منظور کاهش میزان بار محاسباتی و افزایش سرعت شناسایی با حفظ صحت عملکرد، علاوه بر اجرای روال‌های متعارف، دو عملکرد کلی نیز به‌صورت توامان در روال تشخیص اجرا می‌شوند. در مرحله‌ی اول و در زمان استفاده از ابر نقاط، به‌جای به‌کارگیری وکسل های حاصل از تقسیم‌بندی ابر نقاط، از تمامی ابر نقاط به‌عنوان ورودی استفاده می‌شود که در این صورت زمان لازم برای اجرای محاسبات سه‌بعدی (نسبت به روش‌های پیشین) کاهش میابد. در مرحله‌ی دوم نیز به‌جای اجرای روال‌های جستجوی زمان‌بر در کل ابر نقاط ورودی، تمامی پیشنهادات اشیاء ابتدا از شناساگر دوبعدی دریافت می‌شوند و بر مبنای این پیشنهادات، فقط در محل‌های با پتانسیل بالای حضور اشیاء، عملیات جستجو و تطبیق اجرا می‌شود و بدین گونه در این مرحله نیز زمان اجرا بهبود میابد. در این مقاله با استفاده از مدل pointnet روشی مطرح می‌گردد که قادر است بدون نیاز به انجام پیش‌پردازش‌های معمول در حوزه‌ی ابر نقاط (وکسل بندی ابر نقاط و یا تصویر کردن کل ابر نقاط در صفحه‌ی xy) با استفاده از توانمندی‌های مدل‌های یادگیری عمیق در ابر نقاط سه‌بعدی، اشیاء را شناسایی و طبقه‌بندی نماید. این مشخصه که باعث افزایش میزان fps و کاهش حجم محاسبات می‌گردد، در کاربردهای عملی کاملاً مفید است. به‌منظور ارزیابی الگوریتم از معیار دقت متوسط (ap) استفاده می‌گردد. (این معیار در مقایسه‌ی روش‌های مختلف تشخیص اشیاء از ابر نقاط به کار می‌رود.) کارایی الگوریتم مطرح‌شده نسبت به روش‌های مقایسه شده در بخش ارزیابی نشان داده‌شده است.