دانشگاه اصفهان هوش محاسباتی در مهندسی برق 2821-0689 16 3 2025 09 23 Investigating the inequity aversion model in multi-agent reinforcement learning approaches for enhancing power control in wireless cellular networks بررسی مدل تنفر از بی‌عدالتی در راهکارهای یادگیری تقویتی چند‌عاملی برای ارتقای کنترل توان در شبکه‌های سلولی بی‌سیم 53 68 30202 10.22108/isee.2025.143537.1715 FA فریناز اعلمی‌یان هرندی پژوهشگر پسادکتری، دانشکدۀ مهندسی برق و کامپیوتر، دانشگاه صنعتی اصفهان، اصفهان، ایران اعظم سادات حسین زاده صلوتی استادیار، گروه مهندسی برق و کامپیوتر، دانشکدۀ فنی مهندسی گلپایگان، دانشگاه صنعتی اصفهان، گلپایگان، ایران زینب مالکی دانشیار، دانشکدۀ مهندسی برق و کامپیوتر، دانشگاه صنعتی اصفهان، اصفهان، ایران پوریا رمضی استادیار، گروه بیولوژی و گروه ریاضی و آمار، دانشگاه کلگری، کلگری، کانادا Journal Article 2024 12 11 Recently, data-driven deep reinforcement learning algorithms have replaced traditional model-based algorithms in the problem of power allocation in wireless cellular networks. This article focuses on multi-agent reinforcement learning approaches that leverage centralized training and distributed execution. These approaches use an intrinsic reward function to solve the downlink power control problem in a multi-user wireless cellular network, with the aim of maximizing the sum rate. To enhance the quality of the agents' learning and their collaboration and coordination, the inequity aversion model is applied in the structure of multi-agent reinforcement learning methods. This model manipulates the agents' rewards based on the concepts of envy and guilt. The parameters of this model should first be selected properly. Various simulation results indicate that applying the inequity aversion model with appropriately tuned parameters can improve the performance of basic multi-agent reinforcement learning methods in the problem of power control in multi-user wireless cellular networks. چکیده: به‌تازگی، الگوریتم‌های مبتنی بر دادۀ یادگیری تقویتی عمیق جایگزین الگوریتم‌های مبتنی بر مدل سنتی در مسئلۀ تخصیص توان در شبکه‌های سلولی بی‌سیم شده‌اند. تمرکز این مقاله بر راهکارهای یادگیری تقویتی چندعاملی است که از آموزش متمرکز و اجرای توزیع‌شده بهره می‌برند. در این راهکارها، از یک تابع پاداش داخلی برای حل مسئلۀ کنترل توان لینک پایین‌رو در یک شبکۀ سلولی بی‌سیم چندکاربره، با هدف بیشینه‌سازی نرخ مجموع استفاده می‌شود. در این راستا، برای بهبود کیفیت یادگیری عامل‌ها و همکاری و هماهنگی میان آنها، مدل تنفر از بی‌عدالتی در ساختار یادگیری تقویتی چندعاملی اعمال می‌شود. این مدل بر اساس هر دو مفهوم حسادت و عذاب وجدان، پاداش‌های عامل‌ها را با هدف دست‌یابی به برابری دستکاری می‌کند. نتایج شبیه‌سازی‌های مختلف نشان می‌دهد اعمال مدل تنفر از بی‌عدالتی با پارامترهایی که به طور مناسب تنظیم شده‌اند، می‌تواند عملکرد روش‌های یادگیری تقویتی چندعاملی پایه را در مسئلۀ تخصیص توان در شبکه‌های سلولی بی‌سیم بهبود بخشد. https://isee.ui.ac.ir/article_30202_140d6699a17e758640f3e52e896783ad.pdf