رانندگی خودکار در محیط بزرگراه مبتنی بر یادگیری سیاست با استفاده از روش‌های یادگیری تقویتی توزیعی

این مقاله به ارائه یک روش یادگیری مبتنی بر یادگیری تقویتی جهت طراحی یک ناظر به منظور رانندگی خودکار در محیط بزرگراه می‌پردازد. با توجه به تصادفی بودن شرایط رانندگی در بزرگراه و همچنین درنظر گرفتن شرایط واقعی تر رانندگی، از مزایای یادگیری تقویتی توزیعی عمیق بهره گرفته شده است. در این مقاله برای اولین بار جهت یادگیری سیاست‌های رانندگی استفاده از روش‌های یادگیری تقویتی توزیعی تابع کمی تمام پارامتری شده (fqf) و شبکه کمی ضمنی (iqn) پیشنهاد شده است. برای آموزش عامل، استفاده از داده‌های دوربین، لیدار و ترکیب آن دو پیشنهاد شده است. به منظور استفاده از ترکیب دو نوع داده، ساختار شبکه چند ورودی را به خدمت گرفته ایم. جهت ارزیابی روش‌های پیشنهاد شده، از شبیه ساز رانندگی در بزرگراه استفاده کرده ایم که در نرم افزار unity توسعه یافته است. تحقق خودروی خودران در شبیه ساز مورد نظر به کمک سیستم‌های کمک راننده صورت پذیرفته است. ارزیابی عامل براساس یادگیری سیاست رانندگی که قادر به انتخاب عمل صحیح برای هدایت خودور باشد انجام شده است. به منظور ارزیابی بهتر روش‌ها دو معیار تغییرات سرعت و تغییرات لاین را برای یادگیری سیاست رانندگی بررسی کرده‌ایم. نتایج بدست آمده از مقاله با روش‌هایی نظیر شبکه q عمیق (dqn)، شبکه q عمیق رگرسیون کمی (qrdqn) که پیش تر ارائه شده بود مقایسه گردید. نتایج بدست آمده نشان دهنده آن است که الگوریتم‌های پیشنهادی توانایی یادگیری سیاست‌های مناسب رانندگی در محیط بزرگراه را دارند. همچنین روش fqf عملکرد بهتری نیز نسبت به iqn و سایر روش‌هایی که در گذشته پیاده سازی شده‌اند از خود نشان می‌دهد.

Policy-based Auto-Driving in Highway based on Distributional Reinforcement Learning Methods

This paper presents reinforcement learningbased learning methods for designing a supervisor for automatic driving in the highway environment. Due to the random driving conditions on the highway as well as the more realistic driving conditions, the benefits of deep distributed reinforcement learning have been exploited. In this paper, for the first time, the use of Fully Parameterized Quantile Function (FQF) and Implicit Quantile Network (IQN) distributed learning methods is proposed to learn driving policies. To train the agent using the camera data, the LIDAR sensor and its combination are suggested. In order to use the combination of the two types of data, we have employed a multiinput network structure. To evaluate the proposed methods, we have used the highway driving simulator developed in unity software. The realization of the car in the simulator is done with the help of driver assistance systems. Agent evaluation is based on a learning driving policy that can choose the right action to steer the car. In order to better evaluate the methods, we have examined the two criteria of speed changes and lane changes for learning driving policy. The results obtained from the article were compared with methods such as DQN, ‌QRDQN that were previously presented. The results show that the proposed algorithms can learn appropriate driving policies in the highway environment. The FQF method also performs better than IQN and other strategies implemented in the past.