استراتژی تصمیم گیری در بزرگراه برای خودروی خودران جهت انجام مانور سبقت‌گیری با استفاده از روش یادگیری تقویتی عمیق

رانندگی خودکار یک فناوری جدید برای کاهش تصادفات رانندگی و بهبود راندمان رانندگی می‌باشد. در این پژوهش، یک سیاست تصمیم‌گیری مبتنی بر یادگیری تقویتی عمیق برای خودروهای خودران جهت سناریو سبقت‌گیری در بزرگراه ارائه شده است. برای این منظور ابتدا یک محیط ترافیکی بزرگراهی ایجاد می‌شود که هدف در آن عبور عامل از وسایل نقلیه اطراف با یک مانور کارآمد و ایمن می‌باشد. همچنین یک چارچوب کنترل سلسله مراتبی برای کنترل این وسایل نقلیه ارائه شده است که دستورات سطح بالا تصمیمات رانندگی را مدیریت می‌کند و دستورات سطح پایین به نظارت بر سرعت و شتاب وسیله نقلیه می‌پردازد. سپس، روش خاص مبتنی بر یادگیری تقویتی عمیق  به نام الگوریتم گرادیان سیاست قطعی عمیق  برای استخراج سیاست تصمیم‌گیری در بزرگراه استفاده می‌شود. سپس عملکرد الگوریتم گرادیان سیاست قطعی عمیق با الگوریتم شبکه عمیق کیو مورد مقایسه قرار گرفته است و نتایج استخراج شده از دو الگوریتم مورد ارزیابی و بررسی قرار خواهند گرفت. همچنین در این پژوهش برای شبیه‌سازی مسئله ذکرشده یعنی سبقت‌گیری در محیط بزرگراه از نرم افزار متلب نسخه 2022 استفاده شده است. نتایج شبیه‌‌سازی نشان می‌دهد که سیاست سبقت‌گیری مبتنی بر الگوریتم گرادیان سیاست قطعی عمیق می‌‌تواند وظایف رانندگی در بزرگراه را به طور اثربخش و ایمن انجام دهد.

highway decision-making strategy for autonomous vehicle for overtaking maneuver using deep reinforcement learning (drl) method

automated driving represents a novel technology aimed at reducing traffic accidents and enhancing driving efficiency. this research introduces a deep reinforcement learning (drl) approach for autonomous vehicles, focusing on overtaking scenarios on highways. initially, a highway traffic environment is established, to guide the agent through surrounding vehicles both efficiently and safely. a hierarchical control framework is outlined to manage high-level driving decisions alongside low-level control aspects like car speed and acceleration. subsequently, a specialized drl-based method known as deep deterministic policy gradient (ddpg) is employed to devise decision-making strategies on the highway. the ddpg offers continuous action space exploration, making it suitable for tasks like autonomous driving where actions are not discrete. unlike dqn, it can handle high-dimensional action spaces more effectively, enhancing its applicability in complex environments like highway driving. the efficacy of the ddpg algorithm is compared to that of the dqn algorithm, with subsequent evaluation of the results. simulation outcomes demonstrate that the ddpg algorithm adeptly handles highway driving tasks with efficiency and safety. the study underscores the potential of drl techniques, particularly the ddpg approach, in advancing the capabilities of autonomous vehicles and improving their performance in complex driving scenarios.