دانشگاه اصفهان هوش محاسباتی در مهندسی برق 2821-0689 14 3 2023 09 23 Optimal Decentralized Energy Management of Electrical and Thermal Distributed Energy Resources and Loads in Microgrids Using Reinforcement Learning مدیریت انرژی غیرمتمرکز بهینه منابع و بارهای پراکنده الکتریکی و گرمایی در ریزشبکه‌ها با استفاده از یادگیری تقویتی 47 66 27500 10.22108/isee.2022.133209.1556 FA راضیه دارشی دانشجوی دکتری دانشکده مهندسی برق، دانشگاه علم و صنعت، تهران، ایران سعید شمقدری دانشیار دانشکده مهندسی برق، دانشگاه علم و صنعت، تهران، ایران علی اکبر جلالی استاد دانشکده مهندسی برق، دانشگاه علم و صنعت، تهران، ایرانت حمیدرضا آراسته استادیار، عضو گروه پژوهشی برنامه‌ریزی و بهره‌برداری سیستم‌های قدرت پژوهشگاه نیرو، تهران، ایران Journal Article 2022 04 09 In this paper, a decentralized energy management system is presented for intelligent microgrids with the presence of distributed resources using reinforcement learning. Due to the unpredictable nature of renewable energy resources, the variability of load consumption, and the nonlinear model of batteries, the design of a microgrid energy management system is associated with many challenges. In addition, centralized control structures in large-scale systems increase computational volume and complexity in control algorithms. In this paper, a fully decentralized multi-agent structure for a microgrid energy management system is proposed and the Markov decision process is used to model the stochastic behavior of agents in the microgrid. Electrical and thermal distributed resources, batteries, and consumers are considered intelligent and independent agents. They have the learning ability to explore and exploit the environment in a fully decentralized manner and achieve their optimal policies. The proposed method for hourly microgrid management is model-independent and based on learning. The method maximizes the profits of all manufacturers, minimizes consumer costs, and reduces the dependence of the microgrid on the maingrid. Finally, using real data from renewable energy sources and consumers, the accuracy of the proposed method in the Iranian electricity market is simulated and verified. در این مقاله، یک سیستم مدیریت انرژی غیرمتمرکز برای ریزشبکه‌‌های هوشمند باحضور منابع پراکنده با استفاده از یادگیری تقویتی ارائه می‌شود. مسئله طراحی سیستم مدیریت انرژی ریزشبکه‌ها به دلیل ویژگی‌های ‌پیش‌بینی‌ناپذیر خروجی منابع تجدیدپذیر، متغیربودن بارمصرفی و مدل ‌غیرخطی باتری‌ها به‌منظور ذخیره و تأمین انرژی با چالش‌های زیادی روبه‌رو است. علاوه بر این، استفاده از ساختارهای کنترل متمرکز در سیستم‌های ابعاد وسیع، به بروز مشکلاتی ازقبیل افزایش حجم محاسباتی و پیچیدگی در الگوریتم‌های کنترلی منجر می‌شود. در این مقاله، ضمن ارائه یک ساختار کاملاً غیرمتمرکز چندعامله برای سیستم مدیریت انرژی، از پروسه‌های تصمیم‌گیری مارکوف برای مدل‌سازی رفتار تصادفی عامل‌ها در ریزشبکه استفاده می‌شود. منابع پراکنده الکتریکی و گرمایی، باتری و مصرف‌کنندگان، عامل‌های هوشمند و مستقل در نظر گرفته می‌شوند که دارای توانایی یادگیری هستند و پس از اکتشاف محیط و بهره‌برداری به‌صورت کاملاً غیرمتمرکز، سیاست بهینه خود را به دست می‌آورند. روش ارائه‌شده برای برنامه‌ریزی ساعتی ریزشبکه، یک روش مستقل از مدل و مبتنی بر یادگیری است که ضمن بیشینه‌کردن سود کلیه تولیدکنندگان، هزینه مصرف‌کنندگان را کمینه و از وابستگی ریزشبکه به شبکه اصلی نیز می‌کاهد. درنهایت با استفاده از داده‌های واقعی از نیروگاههای انرژی تجدیدپذیر در ایران و داده‌های خرید ‌و فروش انرژی در بازار برق ایران، دقت روش پیشنهادی شبیه‌سازی و ارزیابی می‌شود. https://isee.ui.ac.ir/article_27500_8ac083f931603ae3be52c60f4691c854.pdf