کاهش اثر مخرب کاربران بدرفتار در حسگری همکارانه طیف مبتنی بر یادگیری تقویتی

وجود کاربران بدرفتار در شبکه‌های رادیوشناختی می‌تواند موجب اخلال در فرآیند حسگری طیف و تشخیص وضعیت کاربر اولیه گردد. به منظور کاهش اثر مخرب این دسته از کاربران در شبکه‌های رادیوشناختی، در این مقاله یک سازوکار نوین مبتنی بر راهبرد یادگیری تقویتی به منظور حسگری همکارانه طیف ارائه شده است. روش پیشنهادی، یک سازوکار حسگری همکارانه مبتنی بر وزن‌دهی کاربران بوده که براساس آن کاربران وزنی متناسب با نحوه رفتار خود در حسگری طیف را دریافت می‌کنند. مدل یادگیری تقویتی بکار رفته در روش پیشنهادی یک آتوماتای یادگیر بوده که با استفاده از فرآیندهای پاداش و جریمه، به کاربران دارای رفتار نرمال در حسگری طیف وزن بیشتر و به کاربران بدرفتار مقادیر وزن کمتری اختصاص می‌دهد. بدین صورت که آتاماتای یادگیر پس از انجام عمل حسگری در هر بار تکرار، بردار وزن کاربران را براساس پاسخ دریافتی از محیط بروزرسانی می‌کند. پس از چندبار تکرار حسگری، آتاماتای یادگیر قادر خواهد بود بردار وزن کاربران را بصورتی بهینه تنظیم کند. به منظور ارزیابی روش پیشنهادی، عملکرد آن در محیط شبیه سازی مورد آزمایش قرار گرفته و نتایج حاصل با روش‌ موجود برای حسگری همکارانه طیف مقایسه شده است. نتایج حاصل نشان می‌دهد که استفاده از روش پیشنهادی در شرایط حضور کاربران بدرفتار موجب بهبود چشمگیر عملکرد شبکه خواهد شد.

reducing the destructive effect of misbehaving users in cooperative spectrum sensing using reinforcement learning

the presence of misbehaving users in cognitive radio networks (crn) can disrupt the process of spectrum sensing and detecting the status of the primary user (pu). in order to reduce the destructive effect of this group of users in crns, in this paper, a new mechanism based on reinforcement learning for cooperative spectrum sensing is presented. the proposed method is a cooperative spectrum sensing mechanism based on user weighting, according to which users receive a weight commensurate with how they behave in spectrum sensing. the reinforcement learning model used in the proposed method is a learning automata which, using reward and penalty processes, allocates more weight to users with normal behavior in sensing the spectrum and less to misbehaving users. in this way, the learning automata updates the users’ weight vector based on the response received from the environment, after performing a sensing operation in each repetition. after repeating the sensing operation several times, the learner will be able to optimize the user’s weight vector. in order to evaluate the proposed method, its performance in the simulation environment has been tested and the results have been compared with the existing method for cooperative spectrum sensing. the results show that using the proposed method in the presence of misbehaving users will significantly improve network performance.