ارائۀ مدل جدید تخمین مصرف انرژیبرق براساس مبدل‌های موجک موازی و شبکه‌های عصبی کانولوشن با یادگیری عمیق برای ساختمان‌های مسکونی

نوع مقاله: مقاله علمی فارسی

نویسندگان

1 گروه مهندسی کامپیوتر، واحد کرمان - دانشگاه آزاد اسلامی – کرمان - ایران

2 گروه مدیریت و بهینه‌سازی انرژی، پژوهشگاه علوم و تکنولوژی پیشرفته و علوم محیطی - دانشگاه تحصیلات تکمیلی صنعتی و فناوری‌های پیشرفته – کرمان - ایران

10.22108/isee.2020.116987.1224

چکیده

با توجه به افزایش میزان مصرف برق، این انرژییکی از مهم‌ترین منابع برای زندگی انسان است؛ بنابراین، همۀ کشورها به دنبال دسترسی به منابع انرژیمطمئن و برنامه‌ریزی‌شده هستند. نیز با توجه به تجدیدناپذیر بودن منابع سوخت‌های فسیلی به‌ویژه منابع نفت و گاز، چندین دهه است موضوع جایگزین‌سازی این نوع انرژی‌ها با انرژی‌های تجدیدپذیرشایان توجه قرار گرفته است. صرفه‌جویی و مصرف بهینۀ انرژی الکتریکی در مصارف مهم مانند ساختمان‌های مسکونی و تجاریاهمیت زیادی دارد. یکی از مهم‌ترین عوامل برای برنامه‌ریزی مصرف برق و بهینه‌سازی آن، پیش‌بینی دقیق برای مصرف برق ساختمان‌های مسکونی و تجاری در آینده است. در این مقاله،ابتدا با استفاده از مبدل‌های موازی موجک، مجموعه داده‌های چند ساختمان مسکونی تحلیل می‌شوند، سپس با استفاده از مدل بهینۀ تخمین‌گر شبکۀ عصبی کانولوشن برق مصرفی کوتاه‌مدت ساختمان‌پیش‌بینی می‌شوند. نتایج پژوهش نشان می‌دهند روش ارائه‌شده به‌طور متوسط خطای تخمین روش‌های ARIMA، شبکۀ عصبی LSTM و SVR را به‌ترتیب 70، 69 و 73 درصد بهبود بخشیده است.

کلیدواژه‌ها


عنوان مقاله [English]

Presenting a New Model of Electric Power Consumption Estimation Based on Parallel Wavelet Converters and Convolutional Neural Networks with Deep Learning for Residential Buildings

نویسندگان [English]

  • Naser Kurd 1
  • Farshid keynia 2
1 Department of Computer Engineering, Kerman Branch, Islamic Azad University, Kerman, Iran
2 Energy Department, International Center for Science, High Technology & Environmental Sciences, Kerman, Iran
چکیده [English]

Considering the increasing rate of electrical energy usage, this energy has become one of the most important resources for human life. So all countries are seeking access to reliable and planned energy resource. Regarding the non-renewability of fossil fuel resources, especially oil and gas, the issue of replacing these types of energy with renewable energy has been considered for decades. Saving and optimal use of electrical energy in important applications such as residential and commercial buildings is critical. One of the most important factors for planning power consumption and optimizing it is accurate forecasting for next hours’ power consumption of residential and commercial buildings. In this paper, first, the data sets of several residential buildings are analyzed using parallel wavelet converters. Then, using an optimal estimator model of the convolutional neural network, the short-term load of the building is estimated. The obtained results show that the proposed method has improved the prediction error about 70, 69 and 73 percent for ARIMA, SVR, and LSTM methods, respectively.

کلیدواژه‌ها [English]

  • Power Consumption Prediction
  • Energy Consumption Management
  • Convolutional Neural Networks
  • wavelet transform
  • Deep Learning

1- مقدمه

[1]

مدیریت و بهینه‌سازی مصرف انرژی،یکی از مهم‌ترین اهداف کشورهای مختلف برای صرفه‌جویی در مصرف انرژی، کاهش آلودگی محیط زیست و استقلال کشور از واردات حامل‌های انرژیاست. برای این منظور در کشورهای مختلف، به‌ویژه کشورهای صنعتی، ارگان‌ها ومؤسسات تحقیقاتی مختلف، اعم از دولتی و خصوصی، برای انجام پژوهش‌ها در زمینۀ برنامه‌ریزی مصرف انرژی و صرفه‌جویی و بهینه‌کردن آن تأسیس شده‌اند و در واقع انرژی، یکی از مسائل مهم و استراتژیک در اقتصاد ملل جهان شده است. مدیریت مصرف انرژی الکتریکی به دو صورت مدیریت بار الکتریکی و بهینه‌سازی مصرف انرژی اعمال‌پذیر است. نظر به اینکه در ایران در ساعات اولیۀ شب، وسایل روشنایی و لوازم الکترونیکی خانگی وارد مدار می‌شود، بار مصرفی به حداکثر مقدارخود می‌رسد و مدیریت مصرف برای کاهش این پیک بار و تعدیل آن باید برخی از مصارف را به ساعات دیگر شبانه‌روز انتقال دهد. در این راستا از مهم‌ترین فعالیت‌های مؤثر، پیش‌بینی دقیق میزان مصرف انرژی در ساعات آیندهبرای برنامه‌ریزی کاهش مصرف و تأمین انرژیلازم از منابع انرژی تجدید‌پذیر دردسترس است.

امروزه روش‌های متفاوتی برای پیش‌بینی انرژی مصرفی ساختمان‌ها ارائه شده‌اند. ازاین جمله روش‌های کمی و کیفی‌اند که در روش‌های کمی عمده هدف پیداکردنیک مدل و مبنای ریاضی برای ترسیم رفتار آینده سیستماست که این مدل با روش‌های مختلف ریاضی یا روش‌های شناسایی سیستم، تخمین زده می‌شود]1[ و معمولاً از روش‌های سری زمانییا روش‌های علت و معلولی استفاده می‌شود. در مدل‌های سری زمانی، عمده هدف تأکیدبر این قضیه است که تعدادی از پدیده‌ها و متغیرها در سیستم‌های مختلف وجود دارند که با یک روند خاص رشد می‌کنند؛ اگر این روند بر مبنای تکرار در دوره‌های زمانی در نظر گرفته شود، مدل آیندۀ سیستم بر حسب روند قبلی پیش‌بینی می‌شود. به عبارت دیگر،یک سری زمانی دنباله‌ای از مشاهدات منظم‌شده بر حسب زمان از یک متغیرند که با تجزیه ‌و تحلیل آن مدلی برای تخمین مقادیرآیندۀ سیستم به وجود می‌آید. مدل‌های علت و معلولی، بیان‌کنندۀیک مدل بین سری زمانی متغیر پیش‌بینی‌شده و متغیرهای دیگر است که در به وجود آمدن این سری زمانی نقش دارند. هدف، پیداکردنیک مدل ریاضی و سیستمی است که این رابطه را به‌طور منطقی برقرار کند. روش‌های پیش‌بینی کیفی، بیشتر برای سیستم‌هایی به کار می‌روند که مدل ریاضی ندارند و یا مدل احتمالی آنها پیچیده و کاملاً غیرخطی است و به آسانی نمی‌توانبا روش‌های کلاسیک ریاضی به این مدل رسید و در صورت رسیدن به این مدل ریاضی، دقت زیادی نخواهد داشت یا هزینه‌بر خواهد بود. در این روش با استفاده از طرح و نظر افراد متخصص در سیستم مدنظر، آیندۀ سیستم با توجه به گذشته، حال و آیندۀ آن، باتعدادی قوانین پایه توصیف می‌شود و بر اساس آن، کمیت مدنظر برای آینده پیش‌بینی می‌شود؛ البته امروزه با توسعۀ سیستم‌های هوشمند، کاربرد این روش‌ها درپیش‌بینی سری‌های زمانی به‌طور چشمگیری افزایشیافته‌اند.

برای تخمین مصرف برق خانگی دو چالش بزرگ وجود دارد که عبارت‌اند از:

• نوسان شدید میزان مصرف برق: میزان مصرف برق در هر خانه در دنیای واقعی به رفتار انسان بستگی دارد و رفتار انسان قابلیت پیش‌بینی دشواری دارد؛ به همین علت پیش‌بینی سری‌های زمانی مربوط به مصرف برق خانگی پیچیدگی‌های خاص خود را دارد.

• تک‌متغیره بودن دادۀ ورودی: برای پیش‌بینی مصرف برق خانگی و آموزش یک مدل، تنها متغیر ورودی، مقدار برق مصرفی در گذشته بر حسب کیلو وات بر ساعت است؛یعنی تخمین‌گر برای پیش‌بینی مصرف برق، تنها باید از روی رفتار گذشتۀ همین متغیر، عمل تخمین را انجام دهد و متغیرکمکی دیگری نخواهد داشت.

در سال‌های اخیر شبکه‌های عصبییادگیری عمیق پیشرفت‌های چشمگیری در علم کامپیوتر داشته‌اند. شبکه‌های عصبییادگیری عمیق در زمینه‌های پردازش زبان طبیعی ]2[، تشخیص اشیا در تصویر]3[، تحلیل سری‌های زمانی]4[ و بهبود دقت و پایداری سیستم‌های مکان‌یابی پیشرفت‌هایچشمگیری ایجاد کرده‌اند. شبکه‌های عصبی حافظۀ طولانی کوتاه‌مدت (LSTM[1]) نشان داده‌اند درتخمین مصرف برق خانگی از دقت زیادی برخوردارند ]5-6-7[. نتایج آزمایشگاهی نشان داده‌اند شبکه‌هایLSTM به‌تنهایی، دقت زیادی نسبت به روش‌های آماری تخمین مانند ARIMA[2]]8[و رگرسیون بردار پشتیبانی (SVR[3]) دارند [9]. همچنین شبکه‌های عصبیLSTM از شبکه‌های عصبی مصنوعی غیرعمیق در تخمین قدرتمندترند [10]. دلیل این امر وابستگی‌های زمانی نسبت به برش‌های زمانی همسایه است که در گیت‌های حافظه در شبکه‌های عصبی بازگشتی(RNN[4]) وجود دارد [11]. درواقع شبکه‌های عصبیLSTMیک فرم ویژه و تغییریافتۀ شبکه‌های عصبی بازگشتی‌اند که مشکل ناپدیدشدن (صفرشدن) گرادیان را با اضافه‌کردن دروازۀ فراموشی حل می‌کنند [12]؛ اما شبکه‌های عصبیLSTM به‌ویژه در معماری‌های عمیق در طول فرآیند آموزش (مثلاً بیش از 3 لایه) دچار مشکل Overfitting می‌شوند. این مشکل چالشی در یادگیریاست که در معماری عمیق شبکه‌های عصبی رخ می‌دهد. درواقع اگر تعداد لایه‌های شبکۀ عصبی بدون توجه به خطای مرحلۀ ارزیابی افزایشیابد، خطای پیش‌بینی بیشتر خواهد شد. این مطلب به وضوح در]13[ به‌صورت آزمایشگاهی اثبات شده است. همچنین شبکه‌های عصبیLSTM به داده‌های بسیار متنوعی برای آموزش نیاز دارند تا پیش‌بینی دقیقی انجام دهند. شبکه‌های عصبی کانولوشن در سال‌های اخیر پیشرفت چشمگیری در حوزۀ بینایی ماشین به وجود آورده است؛برای مثال، با استفاده از این شبکه‌ها، استخراج ویژگی‌های تصویر به‌صورت مطلوبی انجام گرفته است. همچنین شبکه‌های عصبی کانولوشن یک بعدی به‌منزلۀ عملگر مفید برای پیش‌پردازش و استخراج ویژگی از داده‌ها در سری‌های زمانیاست [14].

در این پژوهش یک روش ترکیبییادگیری عمیق با استفاده از موجک موازی ارائه شده است. سری‌های زمانی مصرف برق خانگی، ابتدا با موجک شکسته می‌شوند و سپس به‌عنوان ورودی به شبکۀ عصبی عمیق فرستاده می‌شوند. شبکۀ عصبی با یک لایه کانولوشن ویژگی‌های داده را استخراج می‌کند، سپس با استفاده از بهینه‌ساز، مراحل آموزش شبکه و تنظیم وزن‌ها انجام می‌شود.

برای ارزیابی عملکرد تخمین‌گر ارائه‌شده در این مقاله از 5 مجموعه داده استفاده شد. این مجموعه داده‌ها مصرفواقعی برق خانگی 5 خانه در شهر لندن‌اند [15]. همچنین تخمین‌گر ارائه‌شده با روش‌های مرسوم تخمین مانند ARIMA، SVR و شبکۀ عصبیLSTM مقایسه شده است. مقایسۀ این روش‌ها بامعیارهای میانگین خطای مطلق (MAE[5])، ریشۀ میانگین خطای مربع (RMSE[6]) و درصد میانگین خطای مطلق (MAPE[7]) اندازه‌گیری شده است. نتایج نشان می‌دهند ترکیب موجک موازی با شبکۀ عصبی کانولوشن، تخمین بسیار دقیق‌تری از روش‌هاییادشده را داراست.

نوآوری‌های انجام‌شده در این پژوهش به‌صورت ذیل خلاصه می‌شوند:

• ارائۀیک روش شکستن سیگنال جدیدبا موجک موازی که مراحل تخمین را برای شبکۀ عصبی کانولوشن آسان‌تر می‌سازد.

• غلبه بر عدم قطعیت شدید مجموعه داده‌ها بااستفادهازمبدلموجکموازی که یادگیری برای شبکۀ عصبی حتی با داده‌های محدود را میسر می‌سازد.

• ارائۀیک مدل ترکیبی آموزش شبکۀ عصبی کانولوشن متفاوت که شامل لایه‌های مختلف است و در ساخت و بهینه سازی وزن‌ها نتایج مطلوبی داشته است.

•    شبکه‌های عصبیLSTM در فرآیندیادگیریعمیق به داده‌های بسیار متنوعی نیاز دارند تا رفتار کلی مصرف برق را یادگرفته و پیش‌بینیکنند؛ اما مدل ارائه‌شده در این مقاله قادر است حتی با استفاده از رفتار گذشته یک منزل مسکونی با دقت زیادی میزان مصرف برق برای ساعات آیندۀ همان خانه را پیش‌بینی کند. به عبارت دیگر، تخمین‌گر ارائه‌شده در این مقاله برای پیش‌بینی دقیق میزان مصرف برق، به داده‌های متنوع (برای مثال، میزان برق مصرفی همسایگان) برای آموزش شبکۀ عصبی خود نیازی ندارد.

•    تخمین برق مصرفی برای 5 خانه در دنیای واقعی انجام شده است که نتایج آزمایشگاهی حکایت از دقت بالای روش ارائه‌شده دارد. پیش‌بینی دقیق مصرف برق خانگی برای برنامه ریزی بهتر خانه‌های هوشمند بسیاردرخور استفاده و مفیداست.

 

2- کارهای مرتبط

پیش‌بینی مصرف برق یک مسئلۀ سنتیاست که از چندین دهه قبل تا به امروز مطالعه و پژوهش شده است. ازجمله روش‌های تخمین مرسوم غیر آماری، روش SVR، شبکه‌های عصبی مصنوعی، روش‌های منطق فازی [16] هستند. از روش‌های تحلیلی سری زمانی نیز رگرسیون خودکارمیانگین متحرک (ARIMA)]17[، روش ARIMA با استفاده از متغیرهای خارجی [18] و مدل‌هایGray]19[ هستند. Yuan و همکارانش [8] با ترکیب روش ARIMA و Gray توانسته‌اند به روشی بهتر دست یابند که میانگین خطای مطلق آن کمتر از دو روش مذکور است.

در مقاله [20] برای پیش‌بینی مصرف برق در ترکیه از دو روش SVR و شبکۀ عصبی مصنوعی استفاده شده که پس از ارزیابی خطایMAPE روش SVR با اختلاف 6/0 درصد عملکرد بهتری نسبت به شبکۀ عصبی مصنوعی داشته است. Rodrigues و همکارانش [21] یک مدل شبکۀ عصبی برای تخمین مصرف انرژی طراحی کرده‌اند کهداراییک لایۀ مخفی با 60 نرون است. آنها انرژی مصرفی برای 93 خانه را در کشور پرتقال پیش‌بینی کرده‌اند کهمیانگین خطایMAPE روش آنها روزانه 2/4 درصد بوده است. در مقاله ]22[ آقای اماراتی و همکاران یک روش ترکیبی شبکه‌های عصبی با الگوریتم بهینه‌سازی ذرات ارائه داده‌اند که برای تخمین کوتاه‌مدت قیمت استفاده شده که در مقایسه با سایر روش‌های متداول تخمین، نتایج بهتری داشته است.

شبکه‌های عصبییادگیری عمیق (DLNN[8]) مدرن و محبوب‌اند و با داده‌های آموزشی حجیم سروکار دارند. این شبکه‌ها درزمینۀ دسته‌بندی و تخمین به دقت بسیارزیادی دست یافته‌اند. در مقاله ]23[ یک مدل شبکۀ عصبی کانوولوشن 24 ساعته ارائه شده که با استفاده از یادگیری عمیق توانسته است تخمین مصرف برق نسبت به روش فصلی ARIMAX را 22.6 درصد بهبود بخشد. همچنین در زمینه‌های متفاوتی مانند پیش‌بینی شاخص بازار بورس [24,25]، تخمین سرعت باد [26,27]، تخمین میزان تابش نور خورشید [28,29] و پیش‌بینی بار الکتریکی]30[ به کار رفته‌اند. درمقاله [31] یک مدل یادگیری شبکۀ عصبی عمیق برای تخمین مصرف برق خانگی ارائه شده است. نتایج این مدل نشان می‌دهند دقت شبکۀ عصبی عمیق نسبت به روش‌هایARIMA، روش فصلیHoltCWinter و روش شبکۀ عصبی غیرعمیق، بالاتر است. Shi و همکاران [6] یک شبکۀ عصبی بازگشتی براساس برون‌انداز (Dropout) ارائه داده‌اند کهابتداعدمقطعیت میزان مصرف برق را ضبط و الگوبرداری می‌کند تا تخمین بهتری انجام دهد. نتایج این پژوهش نشان می‌دهند شبکۀ عصبی عمیق ارائه‌شده از روش‌هایARIMA، SVR و شبکه‌های عصبی بازگشتی عملکرد بهتری داشته است.

در]32[یک روش تخمین قیمت با استفاده از ترکیب موجک موازی و اتصال چندین شبکۀ عصبی با مدل‌هاییادگیری متفاوت ارائه شده است. همچنین از یک روش انتخاب ویژگی دو مرحله‌ای با توجه به وابستگی داده‌ها نسبتبهمتغیر هدف استفاده شده است. نتایج با روش ARIMA و روش ترکیبی موجک موازی با ARIMA مقایسه شده‌اند که روش ارائه‌شده معیارهای خطا را به طرز چشمگیری کاهش داده است. در ]33[ برای پیش‌بینی متغیر بار یک روش ترکیبی از موجک موازی با شبکۀ عصبی تکاملی ارائه شده است. روش ارائه‌شده در این مقاله با روش تخمینSVR و شبکۀ عصبی چند لایه مقایسهشدهکه توانسته است معیارهای خطا را به میزان مطلوبی کاهش دهد.

Kong و همکارانش ]7[یک شبکۀ عصبی LSTM دو لایه ارائه کرده‌اند کهبرای پیش‌بینی مصرف برق خانگی استفاده شده است. سپس نتایج خود را با روش‌های شبکۀ عصبی انتشار به عقب (BPNN[9])، رگرسیـونK تا نزدیک‌ترین همســایه (KNN[10]) و یــادگیری ماشــین مفــرط (EML[11]) مقایسه کرده‌اند. نتایج نشان دادند شبکه LSTM دو لایه، تخمین بسیار دقیق‌تری نسبت به روش‌های مذکور داشته است.

 

3- ساختار سیستم ارائه‌شده

برای تخمین سری‌های زمانی تک‌متغیره که دارای نوسان شدید در بازه زمان‌اند، یک شبکۀ عصبی کانولوشن با توانایییادگیری عمیق ارائه شده است. به‌طور کلی مراحل تخمین طبق سلسله‌مراتب زیر نوشته می‌شوند:

 ا) ابتدا مجموعه داده‌ها،نرمال‌سازی، سپس به دسته‌های آموزش و آزمایش تقسیم می‌شوند.

ب) با استفاده از تبدیل چندمرحله‌ای موجک، داده‌های آموزش و آزمایش به زیر مجموعه‌های کوچک‌تر تقسیم می‌شوند.

ج) سیگنال‌های خروجی مرحلۀ موجک به‌عنوان ورودی شبکۀ عصبی کانوولوشن استفاده می‌شوند.

د)سیگنال‌های موجک با شبکۀ عصبی کانولوشن تخمین زده می‌شوند. سپس مرحلۀ موجک معکوس و پس‌پردازش روی آنها اعمال می‌شود تا سیگنال اصلی را بسازند.

 

3-1- مجموعه داده‌های استفاده‌شده

در این مقاله از مجموعه داده‌های مصرف برق جمع‌آوری‌شدۀآقای کلی و نوتنبلت [15] استفاده شده است. این مجموعه داده در بسیاری از مقالات معتبر مانند ]21[ به‌منزلۀ داده‌های آموزشی و آزمایشی شبکه‌های عصبی استفاده شده است. این مجموعه داده شامل برق مصرفی پنج خانه در شهر لندن است که به‌ترتیب با نام‌هایHousehold1، Household2 تا Household5شناخته می‌شوند. در مجموعه داده‌های مذکور، برق مصرفی براساس لوازم برقی (مانند ماشین لباسشویی، یخچال و ...) تفکیک شده‌اند. برق مصرفی لوازم خانگیدر بازه‌های 6 ثانیه‌ایثبت شده است. در این مقاله از داده‌های تجمیع‌شده در بازه‌های زمانی 5 دقیقه استفاده شده است. به عبارت دیگر، هر رکورد در مجموعه داده کل برق مصرفییک منزل مسکونی در بازه‌های زمانی 5 دقیقه‌ای بر حسب کیلووات ساعت (kWh[12]) است.

 

3-2- مرحلۀ شکست چندمرحله‌ای با سیگنال موجک

تخمین سری‌های زمانیدارای نوسان شدید، کار دشواری است. با استفاده از موجک، سری‌های زمانی به زیرمجموعه‌های کوچک‌تری شکسته می‌شوند که تخمین هر کدام به دلیل نوسانان پایین‌تر از موج اصلی کاری نسبتاً آسان‌تر است. با توجه به اینکه مجموعه داده‌های استفاده‌شده دارای نوسان شدیدند، ابتدا با اعمال چندین مرحله موجک داده‌های مناسب‌تری برای مرحلۀ تخمین آماده شد. سری‌های مصرف برق خانگی نیز دارای نوسان شدیدند؛ به همین دلیل، پیش‌بینی آنها کار دشواریاست. استفاده از موجک، سیگنال اصلی را به دو زیرمجموعه با فرکانس پایین و فرکانس بالا تقسیم می‌کند. تخمینیا مطالعۀ موج اصلی به مراتب سخت‌تر ازدوزیرمجموعۀ آن است. دلیل این امر اثر اعمال فیلترها روی موج اصلی و تبدیل آن به دو زیرمجموعۀ کوچک‌تر است]17[.

در این روش نیز ابتدا سیگنال اصلی طی چندین مرحله از تبدیل موجک عبور داده‌ شد که آن را به بخش‌های جزئی و تقریبی تبدیل کرد. بخش تقریبی شامل روند کلی سیگنال اصلی و بخش جزئی نیز نوسانات شدید موج اصلی را در بر می‌گیرد]34[. با استفاده از یک فرآیند شکستن چندمرحله‌ای موج اصلی به موج‌هایی با اندازۀ کوچک‌تر تبدیل شده که برای این کار از موجک Daubechies مرتبه ۴ استفاده شده است. استفاده از این موجک شرایط بهتری برای تخمین را فراهم می‌کنـد]35[. شکل 1 نحوۀ شکست سیگنال اصلیاز موجک موازی ارائه‌شده در این مقاله را نشان می‌دهد. توجیه روش شکست سیگنال با جزئیات بیشتری در قسمت نتایج پژوهش بررسی شده است.

 

شکل (1): مراحل شکستن سیگنال ورودیاز موجک چندمرحله‌ای

 

در مرحلۀ اول شکستن، سیگنال اصلی به دو بخش جزئی (D1) و مقادیر تقریبی (A1) تقسیم می‌شود. در این کار موج D1 مجدد شکستهمی‌شود. دلیل این امر سختی تخمین این موج است. با شکستن موج D1 به دو بخش D1-Low و D1-High تخمین موج اصلییعنیD1 دقیق‌تر شده است. پس از مراحل شکستن سیگنال، هر کدام از زیرموج‌هایA3، D3، D2، D1-High و D1-Low به‌عنوان ورودی شبکۀ عصبی کانولوشن استفاده می‌شوند. پس از انجام تخمینِ شبکۀ عصبی، روی خروجی شبکۀ عصبی موجک معکوس اعمال می‌شود (شکل 2) تا موج اصلی را بسازد.

 

3-3- شبکۀ عصبی کانولوشن

شبکۀ عصبی کانولوشن،یکی از مباحث داغ این روزهای هوش مصنوعیاست که قابلیتیادگیری عمیق برای مدل را فراهم می‌کند. در این روش برای تخمین موج‌های ورودی هر تخمین‌گر از شبکۀ عصبی کانولوشن استفاده شده است تا به کمک آن موج‌های دارای نوسان شدید، دقیق‌تر تخمین زده شوند. لایۀ کانولوشن داده‌های خام را دریافت می‌کند. سپس ویژگی‌های منحصربه‌فرد آن را استخراج می‌کند. لایه‌های کانولوشن دارای فیلترهایی با اندازه k*k و دو بعدی‌اند. در این مقاله به دلیل تک‌بعدیبودن ورودی‌ها از فیلترهایی با سایزk*1 استفاده شد. پس از استخراج ویژگی‌هابا لایۀ کانوولوشن، داده‌ها به لایه‌های شبکۀ عصبی تماماً متصل فرستاده می‌شوند تا مراحل آموزش و تنظیم وزن‌ها انجامشوند. برای بهینه‌سازی وزن‌ها نیز از بهینه‌ساز Nesterov Adam Optimizer استفاده شد. این بهینه‌ساز ترکیبی از RMSprob وNesterovmomentumاست که به Nadam معروف است و قابلیت تنظیم نرخ یادگیری به‌صورت خودکار را دارد. در مرحلۀ آموزش، پس از هر دوره اجرای شبکه همواره بهترین وزن‌ها ذخیره می‌شوند. بهترین وزن‌ها باتوجهبهکمترین میزان خطا در داده‌های ارزیابی انتخاب می‌شوند. به‌طور کلی فرآیند آموزش شبکه به‌صورت شکل 3 است:

 

اعمال موجک

Low-D1

HIGH-D1

D2

D3

A3

 

آماده سازی

داده‌ها جهت ورود به شبکه عصبی

 

 

تخمینگر شبکه عصبی کانولوشن

 

اعمال موجک معکوس

 

 

 

 

 

 

 

 

 

 


شکل(2): ساختار کلی سیستم ارائه‌شده

 

 

شکل (3): فرآیند آموزش تخمین‌گر استفاده‌شده برای هر موج از یک لایه کانولوشن، دو لایه شبکۀ عصبی تماماً متصل (FCL[13])، یک لایه برون‌انداز (Dropout) با احتمال کم و درنهایت، لایۀ خروجی ساخته‌شده است.

 

بعضی از زیرموج‌های مشتق‌شده از موج اصلی پس از اشباع شبکه در صورت کاهش نرخ یادگیری وزن‌های بهتری، تولید و دوره‌های مفید بیشتری برای آموزش سپریمی‌کنند. برای این منظور در سیستم ارائه‌شده اگر شبکه پس از طی تعداد معینی دوره، نتواند خطای ارزیابی را کاهش دهد، به‌طور خودکار نرخ یادگیری را کاهش می‌دهد. فرآیند آموزش شبکه زمانی متوقف می‌شود که حتی با نرخ پایینیادگیری نتواند خطای مرحلۀ ارزیابی را کاهش دهد. با این کار از تمام ظرفیت شبکه برای تخمین استفاده می‌شود.

 

4- نتایج پژوهش

روش تخمین ارائه‌شده با استفاده از زبان برنامه‌نویسی پایتونPython3.6 و در محیط برنامه‌نویسیPycharm پیاده‌سازی شده است. مشخصات سخت‌افزاری سیستم شامل پردازشگر Inter Core-I7 2.5 GHz و پردازشگر گرافیکیNVIDIA GEFORCE 930mxاست. طراحی مدل شبکۀ عصبی کانوولوشن نیز با استفاده از ابزار یادگیری عمیق شرکت گوگل با نام Tensorflow]36[و Keras]37[انجام شده است. در بخش اول به توجیه نحوۀ شکستن موج اصلیبا موجک پرداخته شد. پس از آن، در بخش دوم نتایج تخمین‌گر ساخته‌شده با روش‌های مرسوم تخمین، مقایسه خواهند شد.

 

4-1- توجیه نحوۀ شکستن سیگنال با موجک

برای ساده‌ترشدنمرحلۀتخمین و ساخت تخمین‌گری قوی‌تر، ابتدا سیگنال ورودیبا موجک به زیرموج‌های کوچک‌تری شکسته می‌شود که تخمین هر زیرمجموعه نسبت به موج اصلی آسان‌تر است. روش مرسوم شکستن سری زمانیبا موجک در 3 مرحله انجام می‌گیرد که 4 خروجی با نام‌هایD1،D2، D3 و A3 خواهد داشت و هر خروجی به یک تخمین‌گربرای تخمین فرستاده می‌شود]31[.

موج D1 شامل جزئیاتنخستین مرحله از شکستن موج اصلیاست (شکل 1). این زیرموج را مجدد با موجک به D1-Low و D1-High شکسته می‌شود تا با جزئیات دقیق‌تری تخمینزده شود. زمانی که زیرموج D1 به‌تنهایی به یک تخمین‌گر فرستاده می‌شد، با توجه به مقدار خطای مرحلۀ ارزیابی از دقت پایینی برخوردار بود و درنتیجه، بر تخمین کلی تأثیر می‌گذاشت؛ اما پس از اینکه اینزیرموج، مجدد شکسته شد و هر کدام جداگانه تخمین زده شدند، خطای مرحلۀ ارزیابی کاهش نسبتاً خوبی پیدا کرد. این کاهش خطا در تخمین جزئیات موج اصلی کمک شایانی می‌کند؛ برای مثال، در نمودار شکل 4، خطای تخمین برایدو مجموعه دادۀHousehold1 و Household3 به دو روش مرسوم و روش پیشنهادی شکستن سیگنال ارائه‌شده در این مقاله نمایش داده شده است. درضمن ساختار شبکه برای هر دو حالت یکساناست. خطایMAPE تخمین برایHousehold1 با استفاده از روش مرسوم برابر با 27/14 است که پس از شکسته‌شدن موج D1 برابر با 31/11 شده که به میزان 96/2 واحد کاهش یافته است. همچنین برای دیتاستHousehold3 خطایMAPE با استفاده از روش مرسوم شکستن سیگنال برابر با 33/7 بوده است و هنگام استفاده از روش پیشنهادی، شکستن سیگنال برابر با 87/5 شده که 46/1 واحد کاهش داشته است. این دو مجموعه داده دارای نوسان شدیدتری نسبت به سایر مجموعه داده‌ها است. با توجه به نمودار شکل 4، روش پیشنهادی شکستن سیگنال دامنۀ خطا را به مقدار چشمگیریکاهش داده و همچنین حدود خطا به صفر همگرا شده است.

بنابراین روش شکستن موج ارائه‌شده در این مقاله (شکل 1) برای تمام مجموعه داده‌ها استفادهشده است.

 

شکل (4): مقایسۀ خطای تخمین با استفاده از روش مرسوم شکستن سیگنال و روش پیشنهادی

 

4-2- مقایسه و ارزیابی سیستم ارائه‌شده

در هر مجموعه داده ۱۰۰۰۰ رکورد برای آموزش شبکه استفاده شده است. در مرحلۀ آزمایش، تخمین‌گر ابتدا تخمین برای بیش 10 ساعت آیندهیعنی 130 رکورد (650 دقیقه) انجام شده است. برای تخمین هر پنج دقیقه بعدی دوازده رکورد قبلی آن یعنییک ساعت قبل از آن، ورودی شبکه درنظر گرفته می‌شود. تخمین‌گر ارائه‌شده در این مقاله با روش‌های مرسوم تخمین مانند ARIMA، SVR و LSTM مقایسه شده است. دقت تخمین‌گر با سه معیار میانگین خطای مطلق (MAE)، ریشۀ میانگین خطای مربع (RMSE) و درصد میانگین خطای مطلق (MAPE) اندازه‌گیری شده است. درواقع هر چقدر میزان این سه معیار کمتر باشد، دقت تخمینبیشتر خواهد بود. رابطه‌های ۱ و ۲ و ۳ نشان‌دهندۀ معیارهای خطا هستند]38[.

(1)

 

(2)

 

(3)

 

در این رابطه‌ها،yi مقدار واقعی نمونه آزمایش و ŷi مقدار تخمین زده شده‌اند.

نمودار شکل5، نتایج را برایHousehold1 نشان می‌دهد. تفاوت دقت روش پیشنهادی با سایر روش‌های مقایسه‌شده در نمودار به‌خوبی مشخص می‌شود.

نمودار‌های شکل‌های 6، 7، 8 و 9 نتایج تخمین مصرف برق خانگی برایHouseholdهای 2 تا 5 را به‌ترتیب با استفاده از روش‌های مذکور نشان می‌دهند. این نمودارها نتایج تخمینرا در طول بازه‌های زمانی مختلفی نشان داده‌اند.

در هر یک از نمودارها خط مشکی نشان‌دهندۀ مقادیر واقعی، آبی روش پیشنهادی، نارنجیSVR، سبز ARIMA و قرمز LSTMاست. همان‌گونه که در نمودار نشان داده شده است نتایج روش پیشنهادی در این مقاله کمترین میزان اختلاف با مقادیر واقعی را در طول نمودار از خود نشان می‌دهند؛به‌ویژه در بازه‌های زمانی که مصرف برق دچار نوسانات ناگهانی می‌شود، روش پیشنهادی فاصلۀ خود را با مقادیر واقعی حفظ می‌کند؛ درحالی‌که سایر روش‌ها با مقادیر مختلف از نمودار واقعی فاصله می‌گیرند.

 

 

شکل (5): نمودار تخمین Household1

 

نتایج نشان می‌دهند سیستم پیشنهادی به‌صورت چشمگیری کلیۀ معیارهای خطا را کاسته است. صرف‌نظر از روش پیشنهادی، برایHousehold1 روش SVR نتایج بهتری را تولید می‌کند که خطایMAPE آن 24/23 است. خطایMAPE روش پیشنهادی ما روی این مجموعه داده برابر با 6/1 است که نسبت به SVR کاهش 74.83٪داشته است.

 

 

شکل (6): نمودار تخمین برای Household2

 

 

شکل 7: نمودار تخمین برای Household3

 

شکل 8: نمودار تخمین برای Household4

 

 

شکل 9: نمودار تخمین برای Household5

 

روش LSTM روی مجموعه داده Household1 دارای خطایRMSE برابر با 0235/0 است که صرف‌نظر از روش پیشنهادی، کمترین میزای خطا را داراست. روش پیشنهادی ارائه‌شده، خطایRMSE برابر با 0042/0 را تولید می‌کند که نسبت به روش LSTM کاهش 81 درصدی داشته است.

همچنین اگر میانگین هر یک از معیارهای خطا مدنظر قرار داده شود، به‌صورت کلی روش پیشنهادی با فاصلۀ زیادی از سایر روش‌ها عملکرد مطلوب‌تری از خود نشان می‌دهد. جدول شماره 1، نتایج اندازه‌گیری‌شدۀ هر یک از معیار‌های خطا را به تفکیک دیتاست‌های آزمایش‌شده نشان می‌دهند.

نمودار شکل‌های 10، 11 و 12 خطای هر یک از روش‌ها برایHouseholdهای 1، 2 و 4 را نشان می‌دهند. با مطالعۀ این نمودارها دریافته می‌شود که روش پیشنهادی به دلایل ذیل از دیگر روش‌های مطالعه‌شده در این مقاله برتر است:

• در کلیۀ دیتاست‌ها همگرایی خطای تخمین روش پیشنهادی به صفر بیشتر شده است. درواقع میزان خطای تخمین به صفر نزدیک‌تر شده است.

•    بازۀنوسان مقادیر خطایتخمین روش پیشنهادی از سایر روش‌ها کمتراست.

•    روش پیشنهادییاخطای پرت (Outlier) خارج از محدوده ندارد یا تعداد اینگونه خطاها به نسبت چشمگیری نسبت به سایر روش‌ها کمتر شده است.


جدول (1): نتایج معیارهای خطا برای روش‌های آزمایش‌شده

 

Household1

Household2

Household3

Household4

Household5

میانگین

RMSE

LSTM

0.0226

0.0043

0.0340

0.0035

0.0062

0.0141

SVR

0.0240

0.0033

0.0336

0.0029

0.0065

0.0140

ARIMA

0.0235

0.0035

0.0357

0.0037

0.0064

0.0145

روش پیشنهادی

0.0042

0.0012

0.0171

0.0009

0.0014

0.0049

MAE

LSTM

0.0116

0.0029

0.0182

0.0030

0.0034

0.0078

SVR

0.0107

0.0019

0.0169

0.0025

0.0033

0.0070

ARIMA

0.0122

0.0020

0.0186

0.0027

0.0029

0.0076

روش پیشنهادی

0.0027

0.0006

0.0066

0.0005

0.0009

0.0022

MAPE

LSTM

26.1849

13.6525

18.2897

19.0539

7.4684

16.9298

SVR

24.2382

8.9858

16.9729

15.9552

7.0736

14.6451

ARIMA

27.5773

9.3656

18.6895

17.1672

6.2471

15.8095

روش پیشنهادی

6.1006

3.1638

6.7186

3.6876

2.0525

4.3446

 

 

 

شکل (10): نمودار مقادیر خطا برای Household1

 

شکل (11): نمودار مقادیر خطا برای Household2

 

 

شکل (12): نمودار مقادیر خطا برای Household4

 

جدول (2): درصد بهبود روش ارائه‌شده نسبت روش‌های مرسوم تخمین

 

 

 

RMSE

MAPE

واحد مسکونی شماره 1

بهبود نسبت به( % )

ARIMA

82 %

77 %

SVR

82 %

74 %

LSTM

81 %

76 %

واحد مسکونی شماره 2

بهبود نسبت به( % )

ARIMA

65 %

66 %

SVR

63 %

64 %

LSTM

72 %

76 %

واحد مسکونی شماره 3

بهبود نسبت به

( % )

ARIMA

52 %

64 %

SVR

49 %

60 %

LSTM

49 %

63 %

واحد مسکونی شماره 4

بهبود نسبت به

( % )

ARIMA

75 %

78 %

SVR

68 %

76 %

LSTM

74 %

80 %

واحد مسکونی شماره 5

بهبود نسبت به

( % )

ARIMA

78 %

67 %

SVR

78 %

70 %

LSTM

77 %

72%

میانگین بهبود نسبت به

( % )

ARIMA

70 %

70 %

SVR

68 %

69 %

LSTM

70 %

73 %

 

جدول شماره 2 میزان بهبود معیارهای خطایMAPE و RMSE را با روش پیشنهادی نسبت به روش‌هایSVR، ARIMA و LSTM به تفکیک هر یک از دیتاست‌ها نشان می‌دهد. میانگین بهبود معیارRMSE روش پیشنهادی 69 درصد است. همچنین تخمین‌گر ارائه‌شده معیارMAPE را به‌طور متوسط نسبت به روش‌های مذکور 71 درصد کاهش داده است.

 

5- نتیجه‌گیری

در این پژوهش،یک مدل جدیدیادگیری با استفاده از ترکیب موجک موازی و شبکۀ عصبی یادگیری عمیق کانولوشن ارائه شده است. پژوهش‌های اخیر نشان می‌دهند شبکۀ عصبی LSTM به‌تنهایی دقت زیادی در تخمین مصرف برق دارد]5-6-7[؛ اما شبکه‌های عصبی LSTM برای پیش‌بینی دقیق، به داده‌های متنوع و حجیم برای آموزش نیاز دارند. روش ارائه‌شده،تنها با داده‌های یک منزل مسکونی با دقت مطلوبی مصرف برق آن را در آینده پیش‌بینی می‌کند. نتایج پژوهش نشان می‌دهندروش پیشنهادی با توجه به معیارهای خطا عملکرد بسیار بهتری نسبت به شبکۀ عصبی LSTM و سایر روش‌های مرسوم داشته است.



[1]تاریخ ارسال مقاله: -/-/1398

تاریخ پذیرش مقاله: -/-/1398

نام نویسنده مسئول: فرشید کی‌نیا

نشانی نویسنده مسئول: ایران - کرمان - دانشگاه تحصیلات تکمیلی صنعتی و فناوری‌های پیشرفته - پژوهشگاه علوم و تکنولوژی پیشرفته و علوم محیطی



[1]Long Short Term Memory

[2]Auto Regressive Moving Average

[3]Support Vector Regression

[4]Recurrent Neural Networks

[5]Mean Absolute Error

[6]Root Mean Square Error

[7]Mean Absolute Percentage Error

[8]Deep Learning Neural Networks

[9]Back Propagation Neural Networks

[10]K- Nearest Neighbors

[11]Extreme Machine Learning

[12]Kilowatt-Hour

[13]Fully Connected Layers

 

 

[1]     J. Lago, F. De Ridder, and B. De Schutter, “Forecasting spot electricity prices: Deep learning approaches and empirical comparison of traditional algorithms,” Applied Energy, 2018.

[2]     R. Socher, C. C. Lin, C. Manning and A. Y. Ng, “Parsing natural scenes and natural language with recursive neural networks,” in Proceedings of the 28th international conference on machine learning (ICML-11), 2011, pp. 129-136.

[3]     L. Shao, Z. Cai, L. Liu, and K. Lu, “Performance evaluation of deep feature learning for rgb-d image/video classification,” Information Sciences, Vol. 385, pp. 266-283, 2017.

[4]  T. Kuremoto, S. Kimura, K. Kobayashi, and M. Obayashi, “Time series forecasting using a deep belief network with restricted Boltzmann machines,” Neurocomputing, Vol. 137, pp. 47-56, 2014.

[5]  W. Kong, Z. Y. Dong, D. J. Hill, F. Luo, and Y. Xu, “Short-term residential load forecasting based on resident behavior learning,” IEEE Transactions on Power Systems, vol. 33, pp. 1087-1088, 2018.

[6]     H. Shi, M. Xu, and R. Li, “Deep learning for household load forecasting a novel pooling deep RNN,” IEEE Transactions on Smart Grid, 2017.

[7]     W. Kong, Z. Y. Dong, Y. Jia, D. J. Hill, Y. Xu, and Y. Zhang, “Short-term residential load forecasting based on LSTM recurrent neural Network,” IEEE Transactions on Smart Grid. 2017.

[8]     C. Yuan, S. Liu, and Z. Fang, “Comparison of China’s primary energy consumption forecasting by using arima (the autoregressive integrated moving average) model and gm (1, 1) model,” Energy, Vol. 100, pp. 384-390, 2016.

[9]     J. A. Suykens and J. Vandewalle, “Least squares support vector machine classifiers,” Neural processing letters, Vol 9, No. 3, pp. 293-300, 1999.

[10]     T. M. Mitchell, “Artificial neural networks,” Machine learning, Vol. 45, pp. 81-127, 1997.

[11]     T. Lin, B. G. Home, P. Tino, and C. L. Giles, “Learning long-term dependencies in narx recurrent neural networks,” IEEE Transactions on Neural Networks, Vol. 7, No. 6, pp. 1329-1338, 1996.

[12]   K.-i. Funahashi and Y. Nakamura, “Approximation of dynamical systems by continuous time recurrent neural networks,” Neural Networks, Vol. 6, No. 6, pp. 801-806, 1993.

[13]     H. Shi, M. Xu, and R. Li, “Deep Learning for Household Load Forecasting–A Novel Pooling Deep RNN,” IEEE Trans. Smart Grid, Vol. PP, No. 99, pp. 1–1, 2017.

[14]     A. Almalaq and G. Edwards, “A review of deep learning methods applied on load forecasting,” in Machine Learning and Applications (ICMLA), 2017 16th IEEE International Conference on. IEEE, 2017, pp. 511-516.

[15]     J. Kelly and W. Knottenbelt, “The uk-dale dataset, domestic appliance level electricity demand and whole-house demand from five uk homes,” Scientific data, Vol. 2, p. 150007, 2015.

[16]     N. N. Karnik and J. M. Mendel, “Applications of type-2 fuzzy logic systems to forecasting of time-series,” Information Science, Vol. 120, No. 1-4, pp. 89-111, 1999.

[17]     A. J. Conejo, M. A. Plazas, R. Espinola, and A. B. Molina, “Day-ahead electricity price forecasting using the wavelet transform and arima models,” IEEE Transaction on power systems, Vol. 20, No. 5, pp. 1035-1042, 2005.

[18]     C. Bennet, R. A. Stewart, and J. Lu, “Autoregressive with exogenous variables and neural network short-term load forecast models for residential low voltage distribution networks,” Energies, Vol. 7, No. 5, pp. 2938-2960, 2014

[19]     U. Kumar and V. Jain, “time series models (grey-markov, grey model with rolling mechanism and singular spectrum analysis) to forecast energy consumption in India,” Energy, Vol. 35, No. 4, pp. 1709-1716, 2010.

[20]     G. Oǧcu, O. F. Demirel, and S. zaim, “Forecasting electricity consumption with neural networks and support vector regression,” Procedia-Social and Behavioral Sciences, Vol. 58, pp. 1576-1585, 2012.

[21]     F. Rodrigues, C. Cardeira, and J. M. F. Calado, “The daily and hourly energy consumption and load forecasting using artificial neural network method: a case study using a set of 93 households in Portugal,” Energy Procedia, Vol. 62, pp. 220-229, 2014.

[22]     M. Emarati, F. Keynia, A. Askarzadeh, “Application of hybrid neural networks combined with comprehensive learning particle swarm optimization to shortterm load forecasting”, Computational Intelligence in Electrical Engineering, 10th year, No.1, 2019

[23]     M. Cai, M. Pipattanasomporn, and S. Rahman, “Day-ahead building-level load forecasts using deep learning vs. traditional time-series techniques,” Appl. Energy, Vol. 236, pp. 1078-1088, Feb. 2019.

[24]     G. Amano, M. Marchesi, and A. Murru, “A hybrid genetic-neural architecture for stock indexes forecasting,” Information Sciences, Vol. 170, No. 1, pp. 3-33, 2005.

[25]     A. M. Rather, A. Agarwal and V. Sastry, “Recurrent neural network and a hybrid model for prediction of stock returns,” Expert systems with applications, Vol. 42, No. 6, pp. 3234-3241, 2015.

[26]     H. Wang, G. Wang, G. Li, J. Peng and Y. Liu, “Deep belief network based deterministic and probabilistic wind speed forecasting approach,” Applied Energy, Vol. 182, pp. 80-93, 2016.

[27]     M. Khodayar, O. Kaynak, and M. E. Khodayar, “Rough deep neural architecture for short-term wind speed forecasting,” IEEE Transaction on Industrial Informatics, Vol. 13, No. 6, pp. 2770-2779, 2017.

[28]     C. Voyant, G. Notton, S. Kalogirou, M.-L. Nivel, C. Paoli, F. Motte, and A. Fouilloy, “Machine learning methods for solar radiation forecasting: A review,” Renewable Energy, Vol. 105, pp. 569-582, 2017.

[29]     A. Alzahrani, P. Shamsi, C. Dagli, and M. Ferdowsi, “Solar irradiance forecasting using deep neural networks, Procedia Computer Science, Vol. 114, pp. 304-313, 2017.

[30]     Y. Wang, D. Gan, M. Sun, N. Zhang, Z. Lu, C. Kang, “Probabilistic individual load forecasting using pinball loss guided LSTM” Appl Energy, Vol 235 pp 10–20. 2019.

[31]     S. Ryu, J. Noh, and H. Kim, “Deep neural network based demand side short term load forecasting,” Energies, Vol. 10, No. 1, p. 3, 2016.

[32]     F. Keynia, “A new feature selection algorithm and composite neural network for electricity price forecasting”. Eng. Appl. Artif. Intell. 25, 1687-1697, 2012.

[33]     N. Amjady, "Short-Term Bus Load Forecasting of Power Systems by a New Hybrid Method," IEEE Trans. Power Systems, Vol. 22, No. 1, pp. 333- 341, Feb. 2007.

[34]     Rocha Reis AJ, Alves da Silva AP. Feature extraction via multiresolution analysis for short-term load forecasting. IEEE Trans Power Syst, Vol. 20, No. 1, 189–198, 2005.

[35]     M. J. Shensa, “The discrete wavelet transform: Wedding the à trous and Mallat algorithms,” IEEE Trans. Signal Process., Vol. 40, No. 10, pp. 2464–2482, Oct. 1992.

[36]     M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J. Dean, M. Devin, S. Ghemawat, G. Irving, M. Isard, et al., “Tensorflow: A system for large-scale machine learning.” In OSDI, Vol. 16, pp. 265-283, 2016.

[37]   F. Chollet et al., “Keras: Deep learning library for theano and Tensorflow. (2015),” 2015.

[38]   T. J. Brailsford and R. W. Faff, “An evaluation of volatility forecasting techniques,” Journal of Banking & Finance, Vol. 20, No. 3, pp. 419-438, 1996.