تنظیم اولیه‌ی معماری یادگیری تقویتی فازی با استفاده از روش تکرار ارزش

این پژوهش روشی جدید در استفاده از داده‌های تعاملی عامل و محیط برای تنظیم اولیه‌ی معماری یادگیری تقویتی فازی ارائه می‌دهد. کندی سرعت آموزش و نحوه‌ی تعیین مقدار توابع عضویت ورودی دو چالش مهم در معماری یادگیری تقویتی فازی هستند. تنظیم اولیه‌ی پارامترهای سیستم با استفاده از داده‌های تعاملی می‌تواند راهکار مناسبی برای رفع چالش‌های اشاره شده باشد. در این پژوهش ابتدا با تعامل عامل با محیط و جمع‌آوری داده آموزشی، ماتریس احتمال انتقال حالت-عمل به حالت بعدی و امید پاداش آنی حالت-عمل به حالت بعدی محاسبه می‌شود. با توجه به پیوسته بودن فضای مورد بررسی، جهت تولید دو ماتریس مذکور از خوشه‌بندی استفاده می‌شود. هر خوشه یک حالت از محیط لحاظ شده و بدین صورت یک تقریب احتمال گذر از یک خوشه به خوشه‌ی دیگر با توجه به داده‌ها تعیین می‌شود. سپس پارامترهای سیستم فازی با تعمیم روش تکرار ارزشِ برنامه‌سازی پویا برای فضای پیوسته تنظیم می‌گردد. نحوه‌ی استفاده از روش پیشنهادی با یک مثال به طور کامل شرح داده شده است. استفاده از این روش می‌تواند منجر به افزایش سرعت یادگیری و کمک در تنظیم توابع عضویت ورودی سیستم فازی گردد.

coarse tuning of fuzzy reinforcement learning architecture using value iteration method

this research presents a new method of coarse-tuning the fuzzy reinforcement learning architecture using agent-environment interactive data. this method solves two main challenges the fuzzy reinforcement learning: the low-speed training process and determining the input membership functions of the fuzzy structure. first, the agent interacts with the environment to gather training data. then, the transition probability matrix and the expected return matrix are calculated by applying a clustering algorithm due to the continuous space. each cluster is a state of the environment, and an approximation of the transition probability from one cluster to another is calculated using the gathered data. finally, the parameters of the fuzzy system are adjusted using the modified value iteration method of dynamic programming for the continuous space. the proposed method is fully described with an example. this method increases the learning speed and adjusts the input membership functions of the fuzzy system.