کنترل انعطاف‌پذیر سیگنال ترافیک مبتنی بر توسعه نمایش حالت در روش یادگیری تقویتی عمیق در هنگام وقوع تصادف در تقاطعات شهری

روش‌های یادگیری تقویتی عمیق نتایج امیدوارکننده‌ای را در توسعه کنترل‌کننده‌های سیگنال ترافیک نشان داده‌اند. در این مقاله، انعطاف‌پذیری یک کنترل کننده مبتنی بر یادگیری تقویتی عمیق را در شرایط ترافیک با حجم زیاد و تحت طیف وسیعی از اختلالات محیطی مانند تصادفات، بررسی کرده و یک کنترل‌کننده قابل اعتماد را در محیط با ترافیک پویا پیشنهاد می دهیم. در این روش ،با استفاده از رویکرد گسسته سازی هر یک از خیابان های چهارراه به سلول هایی تقسیم شده وتاثیر اندازه این سلول ها به لحاظ متفاوت بودن یا یکسان بودن با یکدیگردر کارآیی الگوریتم بررسی می گردد. با انتخاب یک فضای حالت توسعه یافته و متراکم، اطلاعاتی به عامل به عنوان ورودی داده می شودکه بتواند درک کاملی از محیط را در اختیار عامل قرار دهد. برای آموزش عامل از روش یادگیری عمیق q و بازپخش تجربه استفاده شده و مدل پیشنهادی در شبیه ساز ترافیک sumo ارزیابی شده است. نتایج شبیه‌سازی کارایی روش پیشنهادی را در کاهش طول صف حتی در صورت وجود اختلال تایید می‌کند.

resilient traffic signal control based on the development of state definition in the deep reinforcement learning method in the presence of accident at urban intersections

deep reinforcement learning methods have shown promising results in the development of traffic signal controllers. in this paper, we evaluate the flexibility of a controller based on deep reinforcement learning under high traffic volume and under a variety of environmental disruptions, such as accidents, and propose a reliable controller in a dynamic traffic environment. in this method, using the discretization approach, each of the intersection roads is divided into cells and the effect of the size of these cells in terms of whether they are different or identical is studied on the efficiency of the algorithm. by selecting an extended and dense state space, the agent is given information as input that can provide it with a complete understanding of the environment. the q-deep learning method and experience replay are used to train the agent, and the proposed model is evaluated in the sumo traffic simulator. the simulation results confirm the efficiency of the proposed method in reducing the queue length even in the presence of a disruption.