مقدمه
از آنجا که مدیریت منابع رادیویی یک مسئلۀ غیرمحدب است و افزایش اندازۀ شبکه در پیچیدگی محاسبات آن نقشی بهسزا دارد، الگوریتمهای متمرکز و توزیعشدۀ متنوعی برای مدیریت منابع رادیویی ارائه شدهاند. این راهکارها از تکنیکهای مطرح در زمینههای مختلف علمی همچون برنامهریزی هندسی [1]، بهینهسازی حداقل وزندار میانگین مربعات خطا [2]، نظریۀ بازی [3]، نظریۀ اطلاعات [4، 5]، و برنامهریزی کسری [6، 7] بهرهبرداری میکنند. با توجه به اینکه شبکههای بیسیم ماهیتی پویا دارند، هیچ تضمینی وجود ندارد که این الگوریتمها برای مدیریت منابع رادیویی در تمام سناریوها به سطحی قابل قبول از عملکرد دست یابند. اما الگوریتمهایی که از طریق تعامل با محیط یک وظیفه را یاد میگیرند، قادر هستند بهخوبی چنین پویاییهایی را مدیریت کنند. در این راستا، چارچوبهایی که فرایند تصمیمگیری خود را بر مبنای حجمی عظیم از دادههای فعلی شبکههای ارتباطی بیسیم قرار میدهند، برای مقابله با این چالشها مناسب هستند. به همین دلیل، تکنیکهای یادگیری ماشین در حل طیفی وسیع از مسائل مطرح در حوزۀ شبکههای بیسیم پیشنهاد شدهاند.
روشهای یادگیری تقویتی زیرمجموعهای خاص از الگوریتمهای یادگیری ماشین هستند که امکان یادگیری را از طریق تعامل با محیط برای یک عامل فراهم میکنند. در این روشها، عامل در پاسخ به مشاهدات دریافتی خود، اقداماتی را با هدف بیشینهسازی پاداش در محیطِ مسئله اعمال میکند. اجرای عمل انتخابی عامل باعث میشود محیط به مرحلۀ بعدی منتقل شود و عامل، علاوه بر دریافت یک مقدار پاداش عددی، مجموعهای جدید از مشاهدات را درک کند. الگوریتمهای یادگیری در حین این تعاملات، سیاست رفتاری عامل را اصلاح میکنند تا عامل پاداش خود را در طول زمان بیشینه کند.
پیچیدگیهای فضای حالت و عمل در مسائل مختلف به ویژه مسائل دنیای واقعی، پژوهشگران را به سمت بهرهبرداری از راهکارهای یادگیری تقویتی عمیق سوق داده است. در این روشها، از ساختار شبکۀ عصبی عمیق به عنوان یک تقریبزنندۀ تابع جامع استفاده میشود تا تخمینی از احتمال انجام هر عمل از مجموعه عملهای مجاز عامل با توجه به هر مشاهده و نیز ارزش هر جفت مشاهده-عمل به دست آید. الگوریتمهای یادگیری تقویتی عمیق در حل مسائل چالشبرانگیز تصمیمگیری متوالی، به ویژه در انواع بازیها، مانند Atari 2600 و Go به موفقیتهایی چشمگیر دست یافتهاند [8-10].
بهتازگی، از تکنیکهای یادگیری تقویتی عمیق برای حل مسئلۀ کنترل توان لینک پایینرو در شبکههای بیسیم سلولی به عنوان یک سیستم چندعاملی استفاده شده است و مکانیسمهایی برای برنامهریزی ارسالها پیشنهاد شدهاند تا عملکرد شبکه برای همۀ کاربران در سراسر شبکه منصفانه باشد. برای نمونه، میتوان به پژوهشهای مِنگ و همکاران [11، 12] اشاره کرد که در آن، یک شبکۀ عصبی با استفاده از الگوریتم DQN در یک محیط شبیهسازی با هدف تخصیص توان در شبکههای سلولی چندکاربره آموزش داده شده است. شبکۀ عصبی حاصل از این آموزش به صورت پویا در سناریوهای واقعی با هدف انتقال یادگیری بهرهبرداری و تنظیم شده است. در کاربرد روش DQN، از نرخ مجموع برای تعریف تابع پاداش استفاده شده است. مقایسۀ عملکرد روش پیشنهادی مِنگ و همکاران با الگوریتمهای مبتنی بر مدل نشان داده است میانگین نرخ مجموع در این روش بیشتر و قابلیت تعمیمپذیری بهتر است.
در سالهای اخیر، ادبیات کنترل توان مبتنی بر یادگیری تقویتی چندعاملی در شبکههای سلولی جهشی معنادار داشته است. از یک سو، رویکردهای غیرمتمرکز و مقیاسپذیر برای کنترل توان ارائه شدهاند که فقط بر مشاهدات محلی تکیه دارند و همچنان به کارایی نزدیکِ روشهای متمرکز دست مییابند [13، 14]. از سوی دیگر، چارچوب «آموزش متمرکز و اجرای توزیعشده» در قالبهای تعاملی و مشارکتی برای کنترل توان به کار گرفته شده و در برخی موارد با شبکۀ عصبی حافظۀ طولانی کوتاه مدت نیز ترکیب شده است تا ناایستایی کانال را بهتر مدل کند [15، 16]. همزمان، جریان روبهرشد انصافمحور در یادگیری تقویتی از توابع رفاه اجتماعی و شبکههای تفکیکِ ارزش برای موازنۀ کارایی–عدالت در تخصیص منابع بهره گرفته و نتایجی امیدبخش در سناریوهای مخابراتی گزارش کرده است [17، 18]. این خط پژوهشی با ایدۀ مطرح در این مقاله، یعنی بهکارگیری پاداشِ داخلیِ «تنفر از بیعدالتی» در یادگیری تقویتی چندعاملی همراستاست و جایگاه نظری رویکرد این مقاله را تقویت میکند.
اثربخشیِ اعمالِ مدل تنفر از بیعدالتی در ساختار یادگیری تقویتی چندعاملی در بهبود کیفیت یادگیری عاملها و همکاری و هماهنگی میان آنها در سناریوهایی همچون بازیهای پاکسازی و برداشت و کنترل ترافیک آزموده شده است [19، 20]. این مدل بر اساس هر دو مفهوم حسادت و عذاب وجدان ، پاداشهای عاملها را با هدف دستیابی به برابری دستکاری میکند. مدل تنفر از بیعدالتی بهجای تمرکز صرف روی بیشینهکردن کارایی کلی شبکه (مانند مجموع توان یا نرخ داده)، انصاف را به عنوان یک معیار اساسی در تابع پاداش عامل یادگیری تقویتی تعبیه میکند. این کار از نارضایتی کاربران با منابع ضعیف جلوگیری میکند و پایداری و قابلیت اطمینان شبکه را در بلندمدت افزایش میدهد. در این مدل، اگر عامل یادگیری تقویتی دریابد یک کاربر برای مدت طولانی از سرویس محروم مانده است یا نرخ دادۀ بسیار پایینی دارد، پاداش منفی دریافت میکند. این امر عامل را مجبور میکند تا برای بهبود وضعیت آن کاربر اقدام کند، حتی اگر این اقدام کمی از کارایی کلی شبکه بکاهد. ترافیک کاربران، تعداد کاربران و شرایط کانال در شبکههای مدرن به طور مداوم در حال تغییر است. عامل یادگیری تقویتی میتواند این شرایط پیچیده و متغیر را مستقیماً از دادهها بیاموزد و یک سیاست تطبیقی ایجاد کند که در شرایط مختلف، بیعدالتی را تشخیص و به آن واکنش نشان دهد. بهرهبرداری از مدل تنفر از بیعدالتی میتواند تعادل هوشمند و پویا بین کارایی و انصاف برقرار کند و با شرایط پیچیده و متغیر شبکههای مدرن سازگار شود.
ساختار مقاله به این شرح است: در بخش دوم، مسئلۀ تخصیص پویای توان لینک پایینرو در یک شبکۀ بیسیم مطرح میشود. سپس، روشهای یادگیری تقویتی پایه و مدل تنفر از بیعدالتی بهترتیب در بخشهای سوم و چهارم معرفی میشوند. در بخش پنجم، عناصر یادگیری تقویتی در مسئلۀ تحت بررسی شرح داده میشوند. آزمایشها و نتایج حاصل از آنها در بخش ششم گزارش میشوند و در نهایت، در بخش هفتم، نتیجهگیری بیان میشود.
بیان مسئله
در اینجا، مسئلۀ تخصیص پویای توان لینک پایینرو در یک شبکۀ سلولی بیسیم با کانال دسترسی چندگانۀ تداخلی با هدف بیشینهسازی نرخ مجموع بررسی میشود. به عبارت دیگر، هدف اصلی مسئله انتخاب توان انتقال لینک پایینرو در پاسخ به شرایط فیزیکی کانال، تحت محدودیتهای مقدار بیشینۀ توان است. محیط مسئله مطابق ساختار ارائهشده توسط مِنگ و همکاران [11، 12] یک شبکۀ سلولی بیسیم با یک کانال پخش تداخلی تکورودی تکخروجی است که از N سلول تشکیل و در مرکز هر سلول، یک ایستگاه پایه مجهز به یک آنتن فرستنده مستقر شده است. با فرض باندهای فرکانسی مشترک، تعداد K کاربر در هر سلول به طور همزمان توسط فرستنده ایستگاه پایۀ آن سلول سرویسدهی میشوند. در شیار زمانی tاُم، بهرۀ کانال مستقل بین ایستگاه پایۀ nاُم و کاربر kاُم در سلول jاُم به صورت g_(n,j,k)^t در رابطۀ (1) تعریف میشود:
(1)
g_(n,j,k)^t=|h_(n,j,k)^t |^2 β_(n,j,k)
که در آن، h_(n,j,k)^t یک متغیر تصادفی گوسی مختلط است که پوش آن توزیع رایلی دارد و β_(n,j,k) مؤلفۀ مقیاس بزرگ محوشدگی است و هر دو مورد تضعیف هندسی و محوشدگی سایه را شامل میشوند و فرض میشود مقدار آنها در بازۀ زمانی مدنظر ثابت است. مطابق مدل Jakes، محوشدگی مسطح مقیاس کوچک میتواند به صورت یک فرایند گوس-مارکوف مختلط مرتبۀ اول به صورت رابطۀ (2) مدل شود:
(2) h_(n,j,k)^t= ρh_(n,j,k)^(t-1)+n_(n,j,k)^t
که در این رابطه h_(n,j,k)^1 ~ CN(0,1) و n_(n,j,k)^t ~ CN(0,1-ρ^2) و ضریب همبستگی ρ به صورت رابطۀ (3) در نظر گرفته میشود:
(3) ρ=J_0 (2πf_d T_s)
به طوری که J_0 (.) تابع بسل مرتبۀ صفر نوع اول، f_d فرکانس داپلر بیشینه و T_s دورۀ زمانی بین شیارهای متوالی است.
با فرض اینکه سیگنالهای ارسالی از فرستندههای متفاوت مستقل از یکدیگر هستند، کانالها در هر شیار زمانی ثابت در نظر گرفته میشوند. به این ترتیب، نسبت سیگنال به تداخل و نویز برای لینک پایینرو از ایستگاه پایۀ nاُم به کاربر kاُم (dl_(n,k)) در شیار زمانی t به صورت رابطۀ (4) تعریف میشود:
(4) γ_(n,k)^t= (g_(n,n,k)^t p_(n,k)^t)/(∑_(k^'≠k)▒〖g_(n,n,k)^t p_(n,k^')^t 〗+ ∑_(n^'∈D_n)▒〖g_(n^',n,k)^t ∑_i▒p_(n^',i)^t + σ^2 〗)
که در آن، D_n مجموعۀ تمام سلولهای تداخلی در اطراف سلول nاُم، p_(n,k)^t توان انتشار فرستندۀ nاُم به گیرندۀ kاُم در شیار زمانی tاُم و σ^2 توان نویز جمعشونده است. عبارتهای ∑_(k^'≠k)▒〖g_(n,n,k)^t p_(n,k^')^t 〗 و ∑_(n^'∈D_n)▒〖g_(n^',n,k)^t ∑_i▒p_(n^',i)^t 〗 نیز بهترتیب معرف تداخلات درونسلولی و بینسلولی هستند. با فرض پهنای باند نرمالشده، نرخ لینک پایینرو dl_(n,k) به صورت رابطۀ (5) تعریف میشود:
(5) C_(n,k)^t=log_2〖(1+γ_(n,k)^t)〗.
با توجه به تعاریف بالا، مسئلۀ بهینهسازی با در نظر گرفتن مجموعۀ توان غیرمنفی p که در آن، تمام عناصر محدودیت توان بیشینه را ارضا میکنند، به صورت بیشینهسازی نرخ مجموع در سرتاسر شبکه در رابطۀ (6) تعریف میشود:
(6) max┬(p^t )C(g^t,p^t )
s.t. 0≤p_(n,k)^t≤P_max ∀n,k
که در آن، P_max بیشترین توان انتشار سیگنال است و مجموعه توان p^t، مجموعه بهرۀ کانال g^t و نرخ مجموع C(g^t,p^t ) به صورت رابطههای (7)، (8) و (9) تعریف میشوند:
(7) p^t:={p_(n,k)^t ┤|∀n,k}
(8) g^t:={g_(n^',n,k)^t ┤|∀n^',n,k}
(9) C(g^t,p^t ) ∶=∑_(n,k)▒C_(n,k)^t .
توجه شود که بهینهسازی بالا یک مسئلۀ غیرمحدب و چندجملهای غیرقطعی سخت است. از آنجا که اطلاعات وضعیت کانال در هر شیار زمانی، اطلاعات کافی دربارۀ راهحل بهینه در اختیار قرار میدهد، تابعی برای نگاشت این اطلاعات به راهحل مسئله موجود و قابل دستیابی است. حل این مسئلۀ بهینهسازی به صورت یک سیستم یادگیری تقویتی تکعاملی با مشکلاتی همچون افزایش نمایی ابعاد فضای حالت و عمل با افزایش تعداد سلولها و عدم امکان انتقال تمام اطلاعات وضعیت کانال به عامل با تأخیری قابل تحمل مواجه است. به همین دلیل، تخصیص توان به صورت غیرمتمرکز و به عنوان یک مسئلۀ یادگیری تقویتی چندعاملی مطرح میشود و برای کنترل توان انتقال هر لینک پایینرو از یک عامل یادگیری تقویتی مجزا بهرهبرداری میشود. همۀ عاملها در شبکۀ ارتباطی به صورت همزمان و توزیعشده عمل میکنند. در این بین، عامل مرتبط با لینک پایینرو dl_(n,k) فقط بخشی از اطلاعات وضعیت کانال (g_(n,k)^t) را به عنوان ورودی دریافت میکند و توان انتقال لینک پایینرو مخصوص خود (p_(n,k)^t) را به عنوان خروجی تولید میکند. اطلاعات جزئی وضعیت کانال g_(n,k)^t به صورت رابطۀ (10) تعریف میشود:
(10) g_(n,k)^t={g_(n^',n,k)^t |n^'∈{n,D_n }}.
به این ترتیب، مسئلۀ بهینهسازی (6) به صورت مسئلۀ برنامهریزی چندهدفۀ رابطۀ (11) در نظر گرفته میشود:
(11) {max┬(p_(n,k)^t ) 〖C_(n,k)^t (g〗_(n,k)^t,p_(n,k)^t)| ∀n,k}
s.t. 0≤p_(n,k)^t≤P_max ∀n,k .
یادگیری چندعاملی برای حل این مسئله حتی به صورتی که در رابطۀ (11) تعریف شده است، همچنان دشوار است؛ زیرا برای یادگیری تمام پارامترهای ساختار عاملها که به صورت شبکههای عصبی عمیق هستند، به زمان یادگیری طولانی و تعداد زیادی دادۀ آموزشی نیاز است. برای برطرفکردن این مشکل، از چارچوب آموزش متمرکز و اجرای توزیعشده بهرهبرداری میشود. در این چارچوب، تمام عاملها در قالب یک عامل و با ساختاری مشابه در نظر گرفته میشوند و سیاستی یکسان برای تمام عاملها به صورت اشتراکی و با استفاده از دادههای جمعآوریشده از عملکرد تمام لینکهای پایینرو یاد گرفته میشود. این چارچوب، با توجه به اینکه لینکها از نظر مشخصات مکانی ثابت و ابعاد شبکه وسیع هستند، قابل اعمال است؛ زیرا لینکها در فضاهای متمایز تقریباً مشابه یکدیگر هستند؛ بنابراین، سیاست یادگرفتهشده میتواند با بهرهبرداری از مفاهیم انتقال یادگیری بین عاملها به اشتراک گذاشته شود. در واقع، هر عامل این سیاست را به صورت مستقل استفاده میکند. به عبارت دیگر، روش یادگیری متمرکز و روش اجرا توزیعشده است.
روشهای یادگیری تقویتی پایه
در این مقاله، سه الگوریتم یادگیری تقویتی عمیق از سه دستۀ اصلی معماریهای یادگیری تقویتی شامل معماری عملگر-تنها، نقاد-تنها و عملگر-نقاد به عنوان روشهای پایه در نظر گرفته شدهاند. الگوریتم REINFORCE [21] یک روش یادگیری گرادیان سیاست از دستۀ معماریهای عملگر-تنها و مبتنی بر روش مونت-کارلو است. الگوریتمهای مبتنی بر سیاست به صورت صریح سیاست تصادفی π را در قالب یک بردار احتمالاتی در خروجی یک شبکۀ عصبی با پارامترهای قابل یادگیری θ_π تولید میکنند. به عبارت دیگر، یادگیری سیاست π(a|s;θ_π) با استفاده از تنظیم پارامترهای یک شبکۀ عصبی برای هر یک از حالتهای دریافتی s عمل مناسب a را تولید میکند. راهکار کلی در روش گرادیان افزایشی تصادفی به نمونههایی نیاز دارد که امید گرادیان آنها متناسب با گرادیان واقعی معیار عملکرد به عنوان تابعی از پارامترها باشد. هدف الگوریتم REINFORCE مطابق رابطۀ (12)، بیشینهسازی مقدار پاداش مورد انتظار تحت سیاست π است:
(12) θ_π^*=argmax〖E_π [∑_a▒〖π(a│s;θ_π ) r_s^a 〗]〗 .
گرادیان نمونهبرداری مونت-کارلو به صورت رابطۀ (13) محاسبه میشود:
(13) ∇θ_π=E_π [∇_(θ_π ) ln〖π(a│s;θ_π ) r_s^a 〗 |s=s^t,a=a^t ]
به طوری که ∇ عملگر گرادیان است. از آنجا که شبکۀ عصبی سیاست به صورت مستقیم سیاست تصادفی را تولید میکند، در طول یادگیری با استفاده از این شبکه، عملهای تصادفی تولید میشوند. اما زمانی که یادگیری انجام شد و سیاست بهینه یاد گرفته شد، این شبکۀ عصبی عمل بهینه را تولید خواهد کرد. برای کاهش حساسیت این الگوریتم به مقدار تابع پاداش، از مقادیر نرمالشدۀ پاداش به صورت r ̃=(r-μ_r)/σ_r استفاده میشود که در آن، μ_r و σ_r بهترتیب میانگین و انحراف معیار پاداش r هستند.
الگوریتم DQN [8] از معماری نقاد-تنها پیروی میکند. این الگوریتم مقدار تابع ارزش Q(s,a;θ_q) را تخمین میزند؛ به طوری که در آن، θ_q بردار پارامترهای قابل تنظیم شبکۀ عصبی است. انتخاب عملهای مناسب در این الگوریتم به دقت تخمین تابع ارزش بستگی دارد و هدف الگوریتم، مطابق رابطۀ (14)، کمینهکردن تابع اتلاف l_2 با یافتن بردار پارامترهای بهینه θ_q^* است:
(14) θ_q^*=argmin┬(θ_q )〖1/2 (Q(s,a;θ_q )-r_s^a )^2 〗 .
گرادیان θ_q به صورت رابطۀ (15) محاسبه میشود:
(15) 〖∇θ〗_q=(Q(s,a;θ_q )-r_s^a ) ∇_(θ_q ) Q(s,a;θ_q ).
مطابق رابطۀ (16)، عمل بهینۀ a^* به گونهای انتخاب میشود که مقدار Q را بیشینه کند:
(16) a^*=argmax┬aQ(s,a;θ_q ) .
برای مدیریت درجۀ کاوشِ الگوریتم در طول فریند یادگیری، یک سیاست شبهحریصانه (ε-greedy) تطبیق داده میشود که در آن، پارامتر ε به صورت رابطۀ (17) تعریف میشود:
(17) ε_k≔ε_1+(k-1)/(N_e-1) (ε_(N_e )-ε_1 ),k=1,…,N_e
که در آن، N_e برابر تعداد کل گامها در یک مرحله از فرایند یادگیری است و مقادیر ε_1 و ε_(N_e ) بهترتیب نشاندهندۀ احتمال کاوش اولیه و نهایی هستند.
الگوریتم DDPG [22] منطبق با معماری عملگر-نقاد و مبتنی بر گرادیان سیاست قطعی است که روی فضای عمل پیوسته عمل میکند. در این الگوریتم، یک عملگر حالت محیط s را مشاهده و از طریق نگاشت شبکۀ عصبی A(s;θ_a)، عمل قطعی a را تولید میکند؛ به طوری که θ_a معرف پارامترهای عملگر است. نقاد مقدار Q متناظر با هر زوج حالت-عمل را از طریق شبکۀ عصبی C(s_c,a;θ_c) پیشبینی میکند که در آن، θ_c پارامترهای قابل تنظیم نقاد و s_c حالت محیط است که توسط نقاد مشاهده شده است. نقاد و عملگر با یکدیگر همکاری دارند و سیاست قطعی بهینه را با حل مسئلۀ بهینهسازی توأم رابطههای (18) و (19) به دست میآورند:
(18) θ_a^*=argmax┬(θ_a )〖C(s_c,a;θ_c ) |_(a=A(s;θ_a)) 〗
(19) θ_c^*=argmax┬(θ_c )〖1/2 (C(s_c,a;θ_c ) |_(a=A(s;θ_a ) )-r_s^a )^2 〗 .
عملگر تلاش میکند تا مقادیر ارزش ارزیابیشده توسط نقاد را به بیشینه کند و هدف نقاد دقیقترکردن این ارزیابی است. عملگر و نقاد هر دو مشتقپذیر هستند و طبق قاعدۀ زنجیره، گرادیان آنها به صورت رابطههای (20) و (21) محاسبه میشود:
(20) ∇θ_a=∇_a C(s_c,a;θ_c ) |_(a=A(s;θ_a)) 〖∇_θ〗_a A(s;θ_a )
(21) ∇θ_c=(C(s_c,a;θ_c )-r_s^a ) ∇_(θ_c ) C(s_c,a;θ_c ) |_(a=A(s;θ_a)) .
مطابق رابطۀ (22)، عمل قطعی به طور مستقیم از طریق عملگر به دست میآید:
(22) a^*=A(s;θ_a).
مشابه سیاست شبهحریصانۀ پویا، عمل حاصل از کاوش برای مرحلۀ k در بازۀ [0,P_max] و به صورت رابطۀ (23) تعریف میشود:
(23) a≔[A(s;θ_a )+n^k ]_0^(P_max )
که در آن، n^k نویز اضافی است و از توزیع یکنواخت رابطۀ (24) پیروی میکند:
(24) n^k~ u(-P_max/k,P_max/k) .
نقاد C(s_c,a;θ_c ) را میتوان به عنوان یک شبکۀ کمکی برای انتقال گرادیان در یادگیری در نظر گرفت که پس از اتمام فرایند یادگیری در تولید عمل دخالتی ندارد. به همین دلیل، نقاد با وجود آنکه باید مشتقپذیر باشد، لزوماً آموزشپذیر نیست. در اینجا، یک نقاد تا حدودی مستقل از مدل پیشنهاد میشود که از هر دو امکان بهرهبرداری از دانش پیشین و انعطافپذیری ساختار شبکۀ عصبی برخوردار است.
الگوریتم گرادیان سیاست REINFORCE بر اساس یک سیاست تصادفی توسعه یافته است، اما نمونهبرداری در فضای عمل پیوسته یا با ابعاد بالا ناکارآمد است. در الگوریتم DDPG، از گرادیان سیاست قطعی برای غلبه بر این مشکل استفاده میشود. از سوی دیگر، با آنکه عملکرد نقاد C(s_c,a;θ_c ) در الگوریتم DDPG با تخمینگر ارزش Q(s,a;θ_q ) در الگوریتم DQN مشابه است، این دو ساختار از نظر ورودیها با یکدیگر تفاوت دارند. در الگوریتم DQN، ارزش جفت حالت-عمل با دریافت حالت محیط تخمین زده میشود؛ اما در الگوریتم DDPG، این ارزش با دریافت حالت محیط و عمل عامل محاسبه میشود.
مدل تنفر از بیعدالتی
برای بهبود الگوریتمهای یادگیری تقویتی چندعاملی، پژوهشگران پاداشهای دریافتی از محیط را با پاداشهای داخلی غنیسازی میکنند تا جنبههایی از رفتار عاملها را در یادگیری لحاظ کنند که لزوماً توسط پاداش محیطی کدگذاری نمیشوند. به این ترتیب، برای هر عامل یادگیر در گام زمانی، پاداشی به صورت ترکیب خطی از پاداش محیطی r_env و پاداش داخلی r_intrinsic به صورت رابطۀ (25) تعریف میشود:
(25) r=〖a r〗_env+b r_intrinsic .
که در آن، a و b ضرایب ثابت هستند.
مدل تنفر از بیعدالتی [23] برای بهبود عملکرد الگوریتمهای یادگیری تقویتی چندعاملی بر اساس مفاهیم حسادت و عذاب وجدان، پاداشهای عاملها را دستکاری میکند. در این مدل، مطابق رابطۀ (26)، هر عامل k پاداش خود (r_k) را با پاداش هر یک از دیگر عاملها (r_j) مقایسه میکند. نتیجۀ هر مقایسه یکی از دو وضعیت حسادت یا عذاب وجدان را برای عامل در مقابل عامل همکارش مشخص میکند: وضعیت عذاب وجدان در نتیجۀ یک نابرابری مطلوب رخ میدهد، یعنی زمانی که عامل در مقایسۀ پاداش خود با دیگری به این نتیجه برسد که درآمد بیشتری کسب کرده است (r_k-r_j>0). حسادت بر اثر یک نابرابری نامطلوب زمانی رخ میدهد که عامل نسبت به همکارش پاداش کمتری دریافت کرده باشد (r_j-r_k>0). در این دو وضعیت، عامل مطابق مدل تنفر از بیعدالتی با دستکاری پاداش دریافتی خود، اقدام به تنبیه یا تشویق خود میکند. در رابطۀ (26)، U_k مقدار پاداش نهایی عامل kاُم، N تعداد کل عاملها، α_k و β_k پارامترهای قابل تنظیم مدل هستند.
(26) U_k (r_k,…,r_N )=r_k- α_k/(N-1) ∑_(j≠k)▒〖max(r_j-r_k ,0)〗- β_k/(N-1) ∑_(j≠k)▒〖max(r_k-r_j ,0)〗.
عناصر یادگیری تقویتی در مسئلۀ تحت بررسی
انتخاب حالت محیط به عنوان آنچه از اطلاعات محیط توسط هر عامل درک میشود، یکی از موضوعهای بسیار مهم و تأثیرگذار در روند یادگیری عاملهاست. بدیهی است، اطلاعات وضعیت فعلی کانال (g_(n,k)^t) که به صورت جزئی توسط هر عامل درک میشود، یکی از مهمترین ویژگیهای تشکیلدهندۀ حالت محیط است. در اینجا، صورت لگاریتمی این اطلاعات پس از نرمالسازی آنها به شکل رابطۀ (27) استفاده میشود:
(27) Γ_(n,k)^t=log_2〖(1+(g_(n,k)^t)/(g_(n,n,k)^t )〗)⊗1_K
که در آن، ⊗ ضرب کرونیکر و 1_K یک بردار است که با تعداد K عدد یک پر شده است. برای نرمالسازی مقادیر g_(n,k)^t، از بهرۀ کانال لینک پایینرو dl_(n,k) استفاده میشود و ترجیح این است که از بازنمایی لگاریتمی این مقادیر استفاده شود؛ زیرا دامنهها معمولاً از نظر مقدار بزرگی تفاوت زیادی دارند. تعداد عناصر Γ_(n,k)^t برابر (|D_n |+1)K است و با تغییر در تعداد کاربران هر سلول تغییر میکند.
برای آنکه ابعاد ورودی ساختارهای شبکۀ عصبی در عامل یادگیرنده کاهش داده شوند و متغیربودن تعداد عناصر Γ_(n,k)^t مدیریت شود، مجموعۀ جدید Γ ̃_(n,k)^t و اندیسهای I_(n,k)^t از طریق مرتبسازی نزولی عناصر Γ_(n,k)^t در یک لیست و انتخاب I_c عنصر ابتدای لیست به همراه اندیس آنها در Γ_(n,k)^t ایجاد میشوند. در واقع، از آنجا که تعداد تداخلات واقعی که در رابطۀ نسبت سیگنال دریافتی به تداخل و نویز اثرگذار هستند از تعداد عناصر Γ_(n,k)^t بسیار کمتر است و سیگنال تداخلی بسیاری از این عناصر به صفر نزدیک است، مرتبسازی عناصر Γ_(n,k)^t و انتخاب تعدادی از آنها نه فقط فضای حالت را کوچکتر میکند، بلکه تقریبی از عبارت مربوط به تداخل را در مخرج رابطۀ نسبت سیگنال دریافتی به تداخل و نویز (رابطۀ 4) حاصل میکند.
با توجه به اینکه کانال به صورت یک فرایند مارکوف مدل شده است و این فرایند به زمان وابسته است، آخرین حل، یعنی p_(n,k)^(t-1)، میتواند نقطۀ شروع بهبودیافتهای را برای ادامۀ یادگیری فراهم کند؛ بنابراین، مقادیر توان انتقال و نرخ لینک پایینرو که در زمان قبلی محاسبه شدهاند، برای تمام عناصر مجموعۀ Γ ̃_(n,k)^t به ورودی ساختار شبکۀ عصبی عامل یادگیرنده اضافه میشوند؛ به طوری که:
(28) p ̃_(n,k)^(t-1)={p_(n,k)^(t-1) |(n,k)∈I_(n,k)^t} ,
(29) C ̃_(n,k)^(t-1)={C_(n,k)^(t-1) |(n,k)∈I_(n,k)^t} .
در اینجا، فضای حالت با در نظر گرفتن گروه ویژگی رابطۀ (30) اجرا شده است:
(30) 〖f={Γ ̃_(n,k)^t ,p ̃_(n,k)^(t-1),C ̃〗_(n,k)^(t-1)} .
مشابه مراحلی که برای پیشپردازش حالت محیط s بیان شد، ورودی ساختار نقاد s_c در الگوریتم DDPG به صورت C ̃_(n,k)^t مطابق رابطۀ (29) تعریف میشود که برای ایجاد آن از تعداد I_c عنصر ابتدای لیست نزولی مرتبطشدۀ C_(n,k)^t={C_(n,k)^t |∀n,k} استفاده میشود.
توان لینک پایینرو که مقداری پیوسته و غیرمنفی است و با مقدار توان بیشینۀ P_max محدود شده است، به عنوان عمل هر عامل در نظر گرفته میشود. در الگوریتمهای REINFORCE و DQN، بازۀ مجاز برای توان انتشار سیگنال به تعدادی سطح توان به صورت پلکانی گسستهسازی میشود و این سطوح توان انتشار به عنوان عملهای گسستۀ هر عامل یادگیری تقویتی به کار گرفته میشوند. از آنجا که توانهای انتشار در بازۀ مجاز خود از نظر بزرگی مقدار تفاوت زیادی دارند، برای گسستهسازی بهتر توان انتقال از نرمالسازی لگاریتمی بهرهبرداری میشود؛ بنابراین، مجموعۀ عملهای مجاز یک عامل (A) به صورت رابطۀ (31) تعریف میشود:
(31) A≔{0,{P_min (P_max/P_min )^(b/(|A|-2)) |b=0,…,|A|-2}}
که در آن، P_min کمینۀ غیرصفر توان انتشار است و |A| تعداد عملهای مجاز عامل یادگیری تقویتی است.
یکی دیگر از روشهای پایه که از ساختار عملگر-نقاد بهرهبرداری میکند الگوریتم DDPG است که در آن، عملگر میتواند مقادیر توان انتشار را از یک بازۀ پیوستۀ محدودشده تولید کند. این عملگر برای تولید خروجی از رابطۀ (32) استفاده میکند و در آن، همان عمل انتخابی عامل و معادل با توان انتشار تولید شده است:
(32) a≔P_max .1/(1+exp(-x)) ,
به طوری که x خروجی لایۀ آخر شبکۀ عصبی عملگر در عامل یادگیرنده است.
تابع پاداش به گونهای طراحی میشود که نرخ انتقال اطلاعات را بهبود ببخشد و میزان تداخلات در لینکهای همسایه را کاهش دهد. یکی از گزینهها برای طراحی تابع پاداش استفاده از میانگین نرخ مجموع است و بر این اساس استفاده میشود که مجموع پاداش تمام عاملها با نرخ مجموع شبکه برابر باشد. در تابع پاداش، همسایگی هر عامل لحاظ و تابع پاداش به صورت محلی برای هر عامل تعریف میشود:
(33) r_(n,k)^t=C_(n,k)^t+ α(∑_(n,k^'≠k)▒C_(n,k^')^t + ∑_(n^'∈D_n ,i)▒C_(n^',i)^t ) ,
که در آن، α∈R^+ ضریب وزنی برای اثر تداخل و R^+ معرف مجموعۀ مقادیر حقیقی مثبت است. اگر تعداد سلولهای شبکه (N) به قدر کافی بزرگ باشد، جمع پاداشهای محلی با نرخ مجموع متناسب میشود:
(34) ∑_(n,k)▒〖r_(n,k)^t 〗∝C(g^t,p^t).
در ترکیب مدل تنفر از بیعدالتی با روشهای یادگیری تقویتی، مقادیر حاصل از رابطۀ (33) برای هر کدام از عاملهای kاُم و jاُم جایگزین مقادیر r_k و r_j در رابطۀ (26) میشوند. با وجود آنکه در مدل تنفر از بیعدالتی، اثرگذاری نابرابریهای مطلوب و نامطلوب در تغییرات مقدار پاداش عامل ممکن است به صورت تنبیه یا تشویق باشد، تا آنجا که بررسیها نشان میدهند، تمام پژوهشهای قبلی فقط از بخشی از مدل و آن هم با اثر تنبیهی بهرهبرداری میکنند. در این پژوهش، مجموعهای از مقادیر به عنوان ضرایب مدل در نظر گرفته میشوند و اثر آنها در یادگیری عاملها و بهبود نتایج بررسی میشود. مطابق نتایجی که در ادامه ارائه میشود، استفاده از ضرایب منفی و تشویق عامل به کمک افزودن ضریبی مثبت از تفاوتهای محاسبهشده به پاداش عامل در برخی از روشهای یادگیری تقویتی در مسئلۀ تخصیص منابع شبکههای بیسیم میتواند به بهبود نتایج کمک کند.
برای وضوح بیشتر کاربرد مدل تنفر از بیعدالتی در روشهای یادگیری تقویتی، گامهای الگوریتم DQN برای عامل k به عنوان نمونه در زیر آورده شدهاند:
Input: Episode times N_e, exploration times T, learning rate η_q, initial and final exploration probability ε_1 , ε_(N_e ).
Initialization: Initialize DQN Q(s,a;θ_q ) with random parameters θ_q.
for k=1 to N_e do
Update ε_k by (17).
Receive initial state s^1.
for t=1 toT do
if rand() < ε_k then
Randomly select action a^t∈A with uniform probability.
else
Select action a^t by (16).
end if
Execute action〖 a〗^t, achieve all agents' rewards〖 r〗_1^t,…, r_N^t, and observe new state s^(t+1).
Calculate U_k^t (r_k^t,…,r_N^t) by (26) as〖 r〗^t.
Calculate gradient 〖∇θ〗_q by (15),
Update parameter along negative gradient direction: 〖θ_q←θ_q- η_q ∇θ〗_q.
s^t← s^(t+1)
end for
end for
Output: learned DQN Q(s,a;θ_q ).
آزمایشها و نتایج
برای انجام آزمایشها و مقایسۀ الگوریتمهای یادگیری تقویتی، از تنظیمات بیانشده در جدول (1) برگرفته از [11، 12] استفاده شده است. تنظیمات مربوط به ساختارهای شبکۀ عصبی عمیق از جمله توابع فعالسازی و تعداد نرونها در هر لایه در جدول (2) آورده شده است.
در مقایسۀ الگوریتمهای یادگیری و ارزیابی عملکرد آنها، از معیار نرخ مجموع استفاده میشود. از آنجا که مقداردهی اولیۀ پارامترها و تولید نمونههای آموزشی در آزمایشها به صورت تصادفی انجام میشود، در سنجش عملکرد الگوریتم از میانگین نتایج چندین آزمایش استفاده میشود. نمادهای σ_c^2 ، C ̅ و C ̅^* بهترتیب به عنوان واریانس نرخ مجموع، میانگین نرخ جمع و میانگین نرخ مجموع، 20 درصد برتر نسبت به تکرارهای مستقل آزمایشها تعریف میشوند. معیار C ̅^* یک شاخص برای اندازهگیری عملکرد الگوریتمهایی است که بهخوبی آموزش دیدهاند.
در اینجا، نتایج حاصل از آموزش سه الگوریتم یادگیری تقویتی عمیق DDPG، DQN و REINFORCE که به عنوان روشهای پایه معرفی شدند، با استفاده از تابع پاداش حاصل از مدل تنفر از بیعدالتی گزارش میشود. برای هر یک از روشهای پایه، ترکیبهایی متفاوت از مقادیر α,β∈{-1,-0.75,-0.5,-0.25,0,0.25,0.5,0.75,1} در مدل تنفر از بیعدالتی لحاظ میشوند و عاملها به کمک آن روش پایه در محیط آموزش تحت یادگیری قرار میگیرند. در فرایند یادگیری، 5000 مرحلۀ 10گامی در نظر گرفته میشوند، معیار متوسط نرخ مجموع پس از هر 100 مرحله محاسبه و با بهترین نتیجۀ قبلی مقایسه میشود و در صورت بهبود نتیجه، ساختار یادگرفتهشده به عنوان بهترین ساختار به همراه نتیجۀ حاصلشده برای مقایسههای بعدی ذخیره میشوند.
جدول (1): پارامترهای شبیهسازی محیط در آزمایشها
عنوان متغیر مقدار
تعداد سلولها در شبکه N 25
بیشترین تعداد کاربران در هر سلول K 4
فضای درونی R_min km 0.01
نیمفاصلۀ سلول به سلول R_max km 1
فرکانس داپلر f_d 10 Hz
دورۀ زمانی* T_s 20 ms
محوشدگی مقیاس بزرگ** β -120.9-37.6 log_10d+10 log_10z
توان نویز گوسی سفید جمعشونده σ^2 −114 dBm
کران پایین توان انتشار P_min 5 dBm
کران بالای توان انتشار P_max 38 dBm
بیشینۀ نسبت سیگنال به تداخل و نویز SINR 30 dB
تعداد سلولهای همسایه برای هر سلول |Dn|,∀n
18
تعداد تداخلات انتخابی از ابتدای لیستهای مرتبشده I_c 16
تعداد سطوح توان (تعداد عمل ممکن برای هر عامل) |A| 10
ابعاد فضای حالت با در نظر گرفتن ویژگیهای f_1 و f_2 |S| 48, 32
ضریب وزن α 1
تعداد مراحل یادگیری N_e 5000
تعداد شیارهای زمانی در هر مرحله T 10
* برای شبیهسازی اثرات محوشدگی به کار گرفته شده است.
** در این رابطه، d طول لینک است و متغیر تصادفی z با توزیع لگاریتمی نرمال از lnz ~ N(0,σ_z^2) پیروی میکند که در آن، σ_z^2 برابر dB 8 است.
جدول (2): تنظیمات یادگیری و پارامترهای ساختارهای شبکۀ عصبی عمیق در الگوریتمها
تنظیمات الگوریتم
REINFORCEDQNDDPG
ActorCritic
نرخ یادگیری η_π=1×10^(-4) η_q=1×10^(-3) η_a=1×10^(-4) η_c=1×10^(-3)
روش کاوش رابطۀ (17) ε_1=0.2
ε_(N_e )=1×10^(-4) رابطۀ (23) -
لایۀ خروجی شبکۀ عصبی softmax,|A|
linear,|A|
, 1 رابطۀ (32) linear,1
لایۀ پنهان شبکۀ عصبی RelU,64
softmax,128
RelU,64
softmax,128
RelU,64
softmax,128
RelU,64
لایۀ ورودی شبکۀ عصبی linear,|S|
linear,|S|
linear,|S|
linear,I_c
RelU: f(x)= max(0,x),linear: f(x)= x,softmax: f(x) =e^x/(∑▒e^x )
پس از پایان فرایند یادگیری، ساختار یادگرفتهشدۀ عاملها در محیط آزمون ارزیابی میشود. برای فرایند آزمون، 500 مرحلۀ 300گامی در نظر گرفته شدهاند که ارزیابی نتایج آنها با در نظر گرفتن معیار C ̅ انجام میشود. شکل (1) این نتایج را برای فرایندهای آموزش و آزمون هر یک از روشهای یادگیری تقویتی به صورت نمودارهای حرارتی و با توجه به مقادیر مختلف پارامترهای مدل تنفر از بیعدالتی نشان میدهد. بهبود نتایج C ̅ با استفاده از برخی از ترکیبهای پارامترهای α و β برای هر یک از روشهای پایه در این نمودارها مشهود است. با توجه به اینکه در برخی از پژوهشها، علاوه بر معیار C ̅ از معیار C ̅^* هم استفاده شده است، شکل (2) مقایسۀ نتایج را با توجه به این دو معیار به صورت نمودارهای خطی برای 81 ترکیب مختلف پارامترهای α و β نشان میدهد.
آموزش آزمون
الف) الگوریتم DDPG، بهترین مقادیر آزمون متعلق به α=0.25 و β=0 است.
ب) الگوریتم DQN، یکی از بهترین مقادیر آزمون متعلق به α=1 و β=1 است.
پ) الگوریتم REINFORCE، یکی از بهترین مقادیر آزمون متعلق به α=0.75 و β=0.25 است.
شکل (1): مقایسۀ معیار C ̅ در فرایند آموزش و آزمون عملکرد ساختار یادگرفتهشده توسط هر یک از الگویتمها با در نظر گرفتن ترکیبهایی متفاوت از مقادیر پارامترهای α و β در مدل تنفر از بیعدالتی. در این مقایسه، بهترین مقادیر با رنگ سبز تیره قابل مشاهده هستند. ترکیب α=0 و β=0 معرف نتیجۀ حاصل از اعمال روش پایۀ هر الگوریتم است.
الف) الگوریتم DDPG
ب) الگوریتم DQN
پ) الگوریتم REINFORCE
شکل (2): مقایسۀ معیار C ̅ (قرمز رنگ) و C ̅^* (سبز رنگ) در سنجش عملکرد ساختار یادگرفتهشده بهازای مقادیر مختلف پارامترهای α و β در مدل تنفر از بیعدالتی در محیط آزمون.
برای انجام آزمایشهای تعمیمپذیری ، از میان ترکیبهایی از پارامترهای مدل تنفر از بیعدالتی که نتایج آزمون بهتری داشتهاند، دو ترکیب انتخاب شدهاند و عملکرد آنها در محیطهای شبیهسازی با مشخصات متفاوت بررسی شده است. جدول (3) مقادیر معیار C ̅ را برای هر یک از این ترکیبها با روش پایه مقایسه میکند. در این آزمایشها، از مشخصات بیانشده در جدول (1) استفاده شده است.
ارزیابی تعمیمپذیری الگوریتمهای یادگیری تقویتی با مدل تنفر از بیعدالتی در شکل (3) که با توجه به مقادیر مختلف پارامترهای شبکه انجام شده است، نشان میدهد از میان ترکیبهای بیانشده در جدول (3)، بهترین نتایج مربوط به الگوریتم DDPG با پارامترهای α=0.25 و β=0 است.
نتایج تعمیمپذیری بهترین ترکیبات پارامترهای مدل تنفر از بیعدالتی در هر روش یادگیری تقویتی با روشهای پایه در شکل (4) برتری بهرهبرداری از این مدل را در الگوریتمهای DDPG و REINFORCE بهوضوح نشان میدهد. در این شکل، نتایج استفاده از بیشترین توان و کاربرد توان تصادفی به عنوان دو روش اولیه و نتایج دو الگوریتم مبتنی بر مدل به نامهای برنامهریزی کسری [7] و حداقل وزندار میانگین مربعات خطا [2] به عنوان روشهای محک با نتایج الگوریتمهای یادگیری تقویتی مورد بحث مقایسه شده است.
جدول (3): مقایسۀ نتایج برخی از بهترین ترکیبهای پارامترهای مدل تنفر از بیعدالتی در روشهای پایه
متغیر ارزیابی REINFORCE IA-REINFORCE DQN IA-DQN DDPG IA-DDPG
α=0.75
β=0.25 α=0.5
β=-1 α=0.25
β=0 α=1
β=1 α=-0.5
β=-0.5 α=0.25
β=0
C ̅ در آموزش 1.49 1.64 1.60 1.50 1.48 1.48 1.58 1.58 1.55
C ̅ در آزمون 1.60 1.73 1.79 1.72 1.71 1.74 1.82 1.84 1.97
(الف) فرکانس داپلر
(ب) بیشترین تعداد کاربران در هر سلول شبکه
(پ) نیم فاصله سلول به سلول
شکل (3): بررسی تعمیمپذیری الگوریتمهای یادگیری تقویتی با توجه به پارامترهای انتخابی مدل تنفر از بیعدالتی. این بررسی با توجه به مقادیر مختلف پارامترهای شبکه انجام شده است.
(الف) فرکانس داپلر
(ب) بیشترین تعداد کاربران در هر سلول شبکه
(پ) نیمفاصلۀ سلول به سلول
شکل (4): بررسی تعمیمپذیری بهترین ترکیب پارامترهای مدل تنفر از بیعدالتی در هر یک از الگوریتمهای یادگیری تقویتی و مقایسۀ نتایج با روشهای پایه. این بررسی با توجه به مقادیر مختلف پارامترهای شبکه انجام شده است. در این شکل، منحنیهای مربوط به الگوریتمهای یادگیری تقویتی پایه به صورت خطچین نشان داده شدهاند.
نتیجهگیری
در این مقاله، عملکرد الگوریتمهای یادگیری تقویتی عمیق برای حل مسئلۀ تخصیص پویای توان توزیعشده در یک شبکۀ سلولی بیسیم با کانال دسترسی چندگانۀ تداخلی با هدف بیشینهسازی نرخ مجموع بررسی شد. در تنظیمات شبکۀ تحت بررسی، همکاری بینسلولی در نظر گرفته شد و برای مدیریت فرایند یادگیری، از روش آموزش متمرکز و اجرای توزیعشده بهرهبرداری شد. مدل تنفر از بیعدالتی به عنوان یک ساختار پاداش داخلی برای بهبود عملکرد الگوریتمهای یادگیری تقویتی چندعاملی پیشنهاد و اثربخشی آن در بیشینهسازی نرخ مجموع مطالعه شد. نتایج آزمایشها نشان میدهد تنظیم پارامترهای مدل تنفر از بیعدالتی تأثیری بهسزا در بهبود عملکرد این الگوریتمها به ویژه الگوریتمهای DDPG و REINFORCE دارد. ارزیابی تعمیمپذیری نیز نشان داد بهرهبرداری از این پاداش داخلی با ضرایب منفی و تشویق عامل به کمک افزودن ضریبی مثبت از تفاوتهای محاسبهشده به پاداش عامل در فرایند یادگیری الگوریتم DDPG بهترین عملکرد را دارد. علاوه بر این، همۀ رویکردهای مبتنی بر داده از روشهای مبتنی بر مدل پیشرفته بهتر عمل میکنند و همچنین، عملکرد تعمیمپذیری بهتری دارند.
الگوریتمهای یادگیری تقویتی عمیق به عنوان دستهای از الگوریتمهای مبتنی بر داده، راهکاری امیدوارکننده برای شبکههای هوشمند آینده است و الگوریتم DDPG ترکیبشده با مدل تنفر از بیعدالتی را میتوان برای مسائلی متنوع با فضای حالت/عمل گسسته یا پیوسته و مسائل بهینهسازی توأم متغیرهای متعدد اعمال کرد. این الگوریتم را میتوان برای بسیاری از مسائل مانند زمانبندی کاربر، مدیریت کانال و تخصیص توان در شبکههای ارتباطی مختلف اعمال کرد.
)