ارائه مدل توزیع شده مبتنی برray جهت کنترل هوشمند چراغ ‏راهنمایی ‏

حمل ونقل‎ ‎یکی‎ ‎از‎ ‎موضوعات‎ ‎مهم‎ ‎در‎ ‎تمدن‎ ‎بشری‎ ‎به‎ ‎شمار‎ ‎می رود،‎ ‎اما‎ ‎از‎ ‎نیمه‎ ‎دوم‎ ‎قرن‎ ‎اخیر مسئله‎ ‎تراکم‎ ‎ترافیک‎ ‎به‎ ‎علت‎ ‎افزایش‎ ‎سریع‎ ‎وسایل‎ ‎نقلیه‎ ‎و‎ ‎تقاضا‎ ‎بسیار‎ ‎موردتوجه‎ ‎قرارگرفته است. یکی‎ ‎از‎ ‎روش های‎ ‎حل ‏‎ ‎مسئله ترافیک، کنترل‎ ‎زمان‎ ‎چراغ های‎ ‎راهنمایی ‏‎‎تقاطع‌ها است‎.‎‏ جریان ترافیک ماهیت غیرخطی، پویا و تصادفی دارد و به همین دلایل استفاده از روش های هوشمند در کنترل ترافیک به‌خصوص روش های حل مسئله یادگیری تقویتی عمیق حائز اهمیت است. کنترل‎ ‎هوشمند‎ ‎چراغ‎ ‎های‎ ‎راهنمایی‎ ‎بر‎ ‎پایه‎ ‎یادگیری‎ ‎تقویتی عمیق‎ ‎نیاز‎ ‎به‎ ‎یادگیری‎ ‎و‎ ‎تصمیم‎ ‎گیری‎ ‎در فضای‎ ‎حالت بزرگ‎ ‎را‎ ‎دارد. همین‎ ‎امر‎ ‎باعث می شود‎ ‎که‎ ‎روش‎ ‎های‎ ‎یادگیری‎ ‎تقویتی گسسته برای‎ ‎چنین‎ ‎مسائلی به‌خوبی‎ ‎قابل بسط نباشند. هدف پژوهش ‏‎‎حاضر، حل ‏این‎‎‏ چالش در مسئله کنترل ترافیک‎ ‎میکروسکوپیک‎ ‎است.‏‎ ‎در این تحقیق از الگوریتم های یادگیری‎ ‎تقویتی‎ ‎عمیق حالت‎ ‎پیوسته‎ ‎برای‎ ‎حل‎ ‎چالش‎ ‎بزرگ‎ ‎بودن‎ ‎فضای حالت استفاده شده و برای دستیابی به افزایش سرعت محاسبات و بهینه کردن ‏سیستم، الگوریتم ها در چارچوب توزیع شده، پیاده سازی گردیده است. برای ارزیابی روش پیشنهادی، انواع شبکه ها در ‏نرم افزارsumo‏ شبیه سازی شده است و دو روش ‏q-learning‏ وa3c ‎‏ در سیستمرهای تک عاملی و چندعاملی مقایسه شدند ‏و نتایج نشانگر آن است که روشa3c ‎‏ منجر به کاهش 91.15% زمان سفر در مقایسه با روش ‏q-learning‏ در تک عاملی و ‏همچنین کاهش39.70% زمان سفر در مقایسه با روش ‏q-learning‏ در چند عاملی می شود. ‏