سیستم استنتاج عصبی - فازی تطبیقی خودبازخورد آموزش‌یافته با الگوریتم رقابت استعماری برای پیش‌بینی سری‌های زمانی آشوبناک

نوع مقاله: مقاله علمی فارسی

نویسندگان

1 دانشجوی دکتری هوش مصنوعی، دانشکده مهندسی کامپیوتر - دانشگاه اصفهان – اصفهان - ایران

2 دانشیار بخش مهندسی کامپیوتر، دانشکده مهندسی - دانشگاه شهید باهنر کرمان – کرمان - ایران

چکیده

پیشبینی سریهای زمانی، مخصوصاً سریهای زمانی آشوبیِ سیستمهای پویای غیرخطی، یکی از زمینههای مهم تحقیقاتی است و کاربرد زیادی در زمینه‌های گوناگون دارد. از میان روشهای معرفی‌شده برای پیش‌بینی سری‌های زمانی آشوبناک، به استفاده از شبکههای عصبی و سیستمهای فازی بیشتر توجه شده است. در این مقاله، سیستم استنتاج عصبی - فازی تطبیقیِ بهبودیافته، برای پیش‌بینی سری‌های زمانی آشوبناک پیشنهاد شده است. با توجه به اینکه ساختار سیستم استنتاج عصبی -فازی تطبیقی براساس یک شبکه پیشرو است، بیشتر به مسائل ایستا محدود بوده است و توانایی مواجهه مؤثر با ویژگی‌های پویا مانند سری‌های زمانی را ندارد. برای غلبه بر این مشکل، در این مقاله برای مدل‌سازی وابستگی‌های زمانی این سیستم، از ارتباط خودبازخورد خروجی مراحل قبلی استفاده شده است. همچنین از ترکیب الگوریتم بهینه‌سازی رقابت استعماری ICA، همراه با تخمین حداقل مربعات LSE، برای آموزش سیستم عصبی - فازی و به‌روزرسانی پارامترهای آن استفاده شده است که این روش، مشکلات آموزشِ الگوریتم‌هایِ بر پایه گرادیان را ندارد. این روش برای پیش‌بینی و مدل‌سازی چند سری زمانی غیر‌خطی و آشوبناک جهان واقعی استفاده شده است. تجزیه و تحلیل نتایج و مقایسه آن با کارهای اخیر، نشان‌دهندۀ عملکرد بهتر روش پیشنهادی نسبت به روش‌های قبلی، از نظر معیار خطای کل پیش‌بینی برای مدل‌سازی و پیش‌بینی سری‌های زمانی هستند.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Adaptive Neuro-Fuzzy Inference System with Self-Feedback and Imperialist Competitive Learning Algorithm for Chaotic Time Series Prediction

نویسندگان [English]

  • Maysam Behmanesh 1
  • Majid Mojammadi 2
1 Esfahan
2 Kerman
چکیده [English]

Prediction of chaotic time series based on the phase space reconstruction theory has been applied in many research fields. In this paper, we propose an improved adaptive neuro-fuzzy inference system (ANFIS) with self-feedback and imperialist competitive learning algorithm for the application of chaotic time series prediction. Since the ANFIS is based on a feed-forward network structure, it is limited to static problems and cannot effectively cope with dynamic properties such as the time series. To surmount this trouble, we suggested an improved version of ANFIS by introducing self-feedback connections from previous outputs that model the temporal dependence. Also we suggested a new hybrid learning algorithm based on imperialist competitive algorithm (ICA) and least square estimation (LSE) to train this new ANFIS structure. This hybrid learning algorithm is free of derivation and solves the trouble of falling in local optimum in the gradient based algorithm for training the antecedent part. The proposed approach is used to model and predict the six benchmarks of chaotic time series. Analysis of the prediction results and comparisons with recent and old studies demonstrates the promising performance of the proposed approach for modeling and prediction of nonlinear and chaotic time series.

کلیدواژه‌ها [English]

  • Chaotic systems
  • Evolutionary Algorithms
  • Learning algorithm
  • Least square estimation

1- مقدمه[1]

پیش‌بینی سری‌های زمانی یکی از مهم‌ترین زمینه‌های پیش‌بینی است که در آن مشاهدات گذشته یک متغیر، جمع‌آوری و برای به دست آوردن روابط اساسی بین مشاهدات و تعیین یک مدل توصیفی، تجزیه و تحلیل شده است؛ سپس مدل حاصل به‌منظور برون‌یابی سری‌های زمانی در آینده استفاده شده است. پیش‌بینی سری‌‌های زمانی، مبحث مهمی است که کاربردهای گسترده‌ای در زمینه‌های علوم، مهندسی، پزشکی، اقتصاد و … دارد.

به‌طورکلی، یک سری زمانی، خواصی همچون غیرخطی‌گری[i]، آشوبی[ii]، غیر‌ایستاگری[iii] و تناوبی[iv] مانند فصلی‌گری[v] دارد و حتی ممکن است نویزی نیز باشد. در میان انواع مختلف سری‌های زمانی، سری زمانی آشوبی، به‌طورمعمول در پدیده‌های طبیعی یافت می‌شود [2,1]. پیش‌بینی رفتار سری‌های زمانی آشوبیِ سیستم‌های پویای غیر‌خطی موضوع تحقیق جدیدی است که توجه و تلاش بسیاری از دانشمندان را جلب کرده است.

شبکه‌های عصبی - فازی (FNNs) یکی از ساختارهای پیشنهادشده برای پیش‌بینی سری‌های زمانی است [3]. از میان این شبکه‌ها، سیستم استنتاج عصبی - فازی تطبیقی ANFIS[vi] یک شبکه عصبی تطبیقی بر پایۀ استنتاج فازی است که روال آموزش با بهینه‌سازی پارامتر‌های بخش مقدم و تالی آن صورت می‌گیرد. یک مشکل ذاتی در سیستم استنتاج عصبی - فازی تطبیقی وجود دارد. این مشکل ناشی از طبیعت پیش‌روندۀ آن است که باعث محدودشدن توانایی آن به مدل‌سازی مسائل ایستا می‌شود. به این دلیل نمی‌توان از آن با موفقیت در مسائل پویا مانند پیش‌بینی سری‌های زمانی استفاده کرد.

در این مقاله تلاش شده است روشی ارائه شود تا بر محدودیت‌های ذاتی و ساختاری سیستم استنتاج عصبی -فازی تطبیقی در مسائل پویا غلبه کند و علاوه بر این، پارامتر‌های بخش مقدم را به روشی سریع‌تر و آسان‌تر از روش مبتنی بر گرادیان به‌روزرسانی کند؛ به‌گونه‌ای که مشکلات ناشی از به‌روزرسانی پارامترها با روش‌های مبتنی بر گرادیان را نداشته باشد. به‌منظور دستیابی به این ساختار برای سیستم عصبی - فازی، یک ارتباط خودبازخورد معرفی شده است. طبیعت تکراری سیستم استنتاج عصبی -فازی تطبیقی، اطلاعات حالات قبلی سیستم را ذخیره کرده است و بدین‌صورت به بازخورد خروجی‌های مشتق‌شده از فرایند استنتاج فازی به لایه ورودی شبکه برای ایجاد یک رابطه زمانی بین ورودی‌های فعلی و خروجی مرحله قبل قادر خواهد بود. این بازخورد در همان مرحله باعث غلبه‌کردن بر محدودیت‌های حافظه می‌شود که یک بخش بسیار مهم برای کاربرد پیش‌بینی سری‌های زمانی است. همچنین در فرایند یادگیری و تطابق پارامتر‌های سیستم استنتاج عصبی - فازی تطبیقی، از الگوریتم ترکیبی رقابت استعماری[vii] ICA و تخمین حداقل مربعات[viii] LSE استفاده شده است. این الگوریتم ضمن شناسایی و ایجاد ساختار بهینه، بهترین روش پیش‌بینی متغیرهای ورودی سیستم را نیز به‌منظور پیش‌بینی مقادیر آتی متغیر هدف، شناسایی و پیشنهاد می‌کند. علاوه بر این، سایر ویژگی‌های روش‌های مستقل از مشتق را نیز دارا است. بیشتر بهبود‌های پیشنهادشده برای سیستم استنتاج عصبی - فازی تطبیقی در پیش‌بینی سری‌های زمانی در زمینۀ الگوریتم یادگیری، پیش‌پردازش ورودی‌ها و تنظیم قوانین بوده است. در این مقاله یک روش ترکیبی برای یادگیری و روش تکراری از ارتباط‌های خودبازخورد، برای بهبود عملکرد سیستم استنتاج عصبی - فازی تطبیقی در پیش‌بینی سری زمانی استفاده شده است و نتایج حاصل از شبیه‌سازی روش ترکیبی برای پیش‌بینی بر سری‌های زمانی آشوبناک Mackey-Glass و Sunspot Number و فرایندهای آشوبناک Lorenz و Rossler با روش‌های قبلی براساس معیار‌های هایکین [4] مقایسه شده‌اند تا اثر روش جدید در صحت پیش‌بینی را اثبات کنند.

در ادامه این مقاله در بخش 2، کارهای گذشته مرور شده است. در بخش 3، پیش‌زمینه‌ای از الگوریتم رقابت استعماری، سیستم استنتاج عصبی - فازی تطبیقی و همچنین سیستم استنتاج عصبی - فازی تطبیقی بهبودیافته و الگوریتم‌های آموزش آن در مواجهه با مسائل پویا توصیف شده است. بخش 4، روش پیشنهادی برای پیش‌بینی سری‌های زمانی را شرح می‌دهد. در بخش 5، نتایج حاصل از پیاده‌سازی روش فوق روی سری‌های زمانی هدف، بررسی و نتایج با کارهای اخیر مقایسه شده‌اند. بخش آخر نیز خلاصه و نتیجه‌گیری را بیان می‌کند.

 

2- کارهای گذشته

در حوزۀ سری‌‌های زمانی، روش‌های آماری و کلاسیک بسیاری ارائه شده است؛ ولی این روش‌ها اغلب پیچیده است و در مواجهه با داده‌های بسیار زیاد و آشوبی کارایی خوبی از خود نشان نمی‌دهند [6,5]. محققان در سال‌های اخیر، روش‌های پیش‌بینی زیادی مانند شبکه‌های موجک[ix][8,7]، شبکه‌های عصبی[x] [10,9]، سیستم‌های فازی [12,11]، عصبی - فازی[xi] [17-13] و الگوریتم‌های تکاملی[xii] [21-18] پدید آمده‌اند.

در سال‌های گذشته مطالعات زیادی مربوط به شبکه‌های عصبی تکراری[xiii] (RNN) برای حل این مسائل با پویائی جذب و توانایی ذخیره‌سازی اطلاعات ارائه شده‌اند [25-22]؛ اما آموزش RNN، به‌خاطر ساختار شبکه پیچیدۀ آن، در مقایسه با شبکه‌های پیشرو سخت‌تر است و محاسبات بیشتری نیاز دارد. علاوه بر این، ثابت شده است که در ساختار شبکه‌های پیش‌رونده، کارایی شبکه‌های عصبی - فازی نسبت به شبکه‌های عصبی بهتر است [27,26]. محققان برای غلبه بر این مشکلِ ساختاری در شبکه‌های عصبی - فازی پیشرو، تلاش کردند تا شبکه عصبی - فازی تکراری را با تشکیل بازخوردهای[xiv] داخلی و تأخیر زمانی بسازند و برای کنترل، شناسایی و پیش‌بینی سیستم‌ها استفاده شوند [31-28].

انواع گوناگونی از شبکه‌های عصبی تکراری همراه با الگوریتم‌های یادگیری خود ارائه شده‌اند؛ مانند الگوریتم یادگیری مبتنی برگرادیان[xv] GD [32]، الگوریتم‌های ژنتیک[xvi] (GAs) و مبتنی بر تکامل [33]. بسیاری از این روش‌های یادگیری به‌صورت تکی بوده‌اند و با توجه به ترکیبی‌نبودن، مشکلاتی در آموزش آن‌ها وجود دارد. آموزش این شبکه در بخش مقدم[xvii] بسیار مشکل‌تر از بخش تالی[xviii] است؛ زیرا بیشتر روش‌های آموزش پارامتر‌های بخش مقدم، مبتنی بر گرادیان بوده است و محاسبات گرادیان در هر مرحله بسیار مشکل هستند و همچنین ممکن است باعث قرارگرفتن در بهینه محلی[xix] شود.

پیش از این، کارها و تحقیقات مشابهی برای پیش‌بینی و شناسایی با استفاده از شبکه عصبی تکراری مبتنی بر موجک (WRFNN) انجام شده است [34]، همچنین سیستم استنتاج عصبی - فازی تطبیقی خودبازخورد با یک الگوریتم جست‌وجوی دسته‌ای محلی[xx] [35] صورت گرفته است.

 

3- پیش‌زمینه

3-1- الگوریتم بهینه‌سازی رقابت استعماری

الگوریتم رقابت استعماری ICA  [36] یک الگوریتم جست‌وجوی تکاملی جدید، مبتنی بر تکامل سیاسی‌اجتماعی است که با در نظر گرفتن پدیدۀ استعمار به‌عنوان جزئی جدانشدنی از سیر تکامل تاریخی انسان و بررسی چگونگی اثرگذاری آن بر کشورهای استعمارگر و مستعمره و نیز کل تاریخ، از منبعی الهام‌بخش برای ایجاد یک الگوریتم کارا و نو در زمینۀ محاسبات تکاملی استفاده می‌شود. شکل(1) فلوچارت الگوریتم ICA را نشان می‌دهد.

 

شکل (1): فلوچارت الگوریتم ICA

مشابه با سایر الگوریتم‌های تکاملی، ICA با جمعیت اولیۀ تصادفی و تابع هدفی آغاز می‌شود که برای همۀ آن‌ها محاسبه‌شده است. قوی‌ترین کشورها، استعمارگر[xxi] و کشورهای ضعیف‌تر، مستعمره‌های این استعمارگر‌ها انتخاب می‌شوند. سپس بین استعمارگر‌ها برای گرفتن مستعمره‌های بیشتر، رقابت صورت می‌گیرد. بهترین استعمارگر‌، شانس بیشتری برای داشتن مستعمره‌های بیشتر دارد. سپس هر استعمارگر با مستعمره‌های خود، امپراتوری تشکیل می‌دهد.

شکل (2) جمعیت اولیه هر امپراتوری را نشان می‌دهد. در این شکل امپراتوری 1، قوی‌‌ترین است و مستعمرۀ[xxii] بیشتری دارد.

 

شکل (2): تشکیل امپراتوری‌های اولیه

بعد از تقسیم‌بندی مستعمرهها بین استعمارگرها، این مستعمرهها به کشور استعمارگر خود نزدیک میشوند (سیاست جذب[xxiii])؛ که این در شکل (3) نشان داده شده است. بر اساس این، هر مستعمره به سمت استعمارگر خود به‌اندازه a واحد حرکت می‌کند و موقعیت جدیدی به دست می‌آورد که در آن a یک متغیر تصادفی با توزیع نرمال است و  عددی بزرگ‌تر از یک و نزدیک به 2 است.

یک انتخاب مناسب می‌تواند  باشد. وجود ضریب  باعث می‌شود تا مستعمره در حین حرکت به سمت استعمارگر، از جهت‌های مختلف به آن نزدیک شود.

(1)

 

 

شکل (3): حرکت مستعمره‌ها به سمت امپراتوری خود

برای افزایش سرعت همگرایی[xxiv] و صحت ICA، در این مقاله از الگوریتم اصلاح‌شده ICA استفاده شده است. برای اصلاح الگوریتم ICA معرفی‌شده و افزایش تنوع در جمعیت، در حرکت مستعمره‌ها به سمت استعمارگر، کمی زاویۀ تصادفی نیز به جهت حرکت مستعمره، اضافه می‌شود. شکل(4) این حالت را نشان می‌دهد.

شکل (4): اصلاح حرکت مستعمرهها به سمت امپراتوری خود

این بار به‌جای حرکت به‌اندازه  به سمت کشور استعمارگر و در جهت بردار واصل مستعمره به استعمارگر، به همان میزان، ولی با انحراف  در مسیر، به حرکت خود ادامه می‌دهیم.  به‌صورت تصادفی و با توزیع یکنواخت در نظر گرفته شده است.

(2)

 

افزایش  باعث افزایش جست‌وجوی اطراف امپریالیست شده است و کاهش آن نیز باعث می‌شود تا مستعمره‌ها تا حد ممکن، نزدیک به بردار واصل مستعمره به استعمارگر حرکت کنند.

در شرایط مختلفی ممکن است همگرایی زودرس رخ دهد: جمعیت به یک بهینه محلی همگرا شود یا الگوریتم جست‌وجو به آرامی پیش رود. در الگوریتم ICA، از عملگر انقلاب برای ایجاد تنوع در جمعیت، جلوگیری از گیرکردن در بهینه محلی و همگرایی زودرس استفاده شده است. برای پیاده‌سازی عملگر انقلاب و بهادادن بیشتر به کاوش[xxv]، محوریت حرکت در راستای استعمارگر حذف می‌شود و به‌طور تصادفی به بعضی از کشورهای مستعمره اجازه داده می‌شود در برخی از ویژگی‌های خود تغییرات کاملاً تصادفی انجام دهند. این تغییرات باعث می‌شود کشورهای مستعمره موقعیت‌های جدیدی را تجربه کنند که باعث افزایش قدرت کاوش فضای جست‌وجو می‌شود. در این مقاله عملگر انقلاب، سپس عملگر جذب روی برخی از مستعمره‌ها به‌صورت تصادفی اعمال می‌شود. در این مقاله، عملگر انقلاب علاوه بر مستعمره‌ها، روی استعمارگر هر امپراتوری نیز اعمال می‌شود.

بعد از اعمال عملگرهای جذب و انقلاب، ممکن است بعضی از مستعمره‌ها به موقعیتی بهتر از استعمارگر خود برسند (نقاطی که هزینه کمتری را نسبت به مقدار تابع هزینه در موقعیت استعمارگر داشته باشد). در این حالت، کشور‌های استعمارگر و مستعمره، جای خود را با همدیگر عوض می‌کنند و الگوریتم با کشور استعمارگر در موقعیت جدید ادامه پیدا می‌کند (رقابت درون‌گروهی).

پس ‌از این مرحله، قدرت کل یک امپراتوری محاسبه می‌شود. قدرت هر امپراتوری، وابسته به قدرت کشور استعمارگر و درصدی از قدرت کلیه کشورهای مستعمره آن امپراتوری است. قدرت کل امپراتوری n به‌صورت فرمول (3) تعریف می‌شود.

(3)

 

که  عددی مثبت است که معمولاً بین صفر و یک و نزدیک به صفر در نظر گرفته می‌شود.

در ادامه، تمام امپراتوری‌ها براساس معیار قدرت کل امپراتوری، با یکدیگر رقابت می‌کنند. بدین‌صورت که هر امپراتوری سعی می‌کند مستعمرات دیگر امپراتوری‌ها را در اختیار بگیرد و آن را کنترل کند. اساس رقابت استعماری در این مرحله انجام می‌شود که براساس آن، قدرت امپراتوری‌های ضعیف کم می‌شود و قدرت امپراتوری‌های قوی افزایش می‌‌یابد. در این مقاله، رقابت استعماری بدین‌صورت پیاده‌سازی می‌شود که یک مستعمره از ضعیف‌ترین امپراتوری جدا می‌شود و یک رقابت بین سایر امپراتوری‌ها برای در اختیار قرار گرفتن آن مستعمره تشکیل می‌شود. در روش ارائه‌شده، برای انتخاب امپراتوری برنده، برای گرفتن مستعمره از روش چرخ گردان[xxvi] استفاده شده است. زمانی که یک امپراتوری کلیۀ مستعمره‌هایش را از دست داد، سقوط می‌کند. در روش ارائه‌شده، با استعمارگر امپراتوری سقوط‌ کرده نیز مانند یک مستعمرۀ آزاد رفتار می‌شود و آن نیز بین سایر امپراتوری‌ها به رقابت گذاشته می‌شود.

پس از مدتی، کلیۀ امپراتوری‌ها به‌جز قوی‌ترین سقوط می‌کند و تمام مستعمره‌ها در کنترل یک امپراتوری یکتا خواهند بود. در حالت ایدئال، کلیۀ مستعمره‌ها موقعیت و هزینه یکسانی با استعمارگری دارند که آن‌ها را کنترل می‌کند؛ این بدان معنی است که الگوریتم به بهترین جواب همگرا شده است. در روش ارائه‌شده، شرط خاتمه الگوریتم، پایان‌یافتن تعداد تکرار از پیش تعیین شده است.

 

3-2-  سیستم استنتاج عصبی - فازی تطبیقی

در این قسمت، توپولوژی و ساختار سیستم استنتاج عصبی - فازی تطبیقی توضیح داده می‌شود. هر دوی شبکه‌های عصبی و سیستم‌های فازی [37]، توانایی‌های مشترک خود را برای مقابله با عدم‌قطعیت و نویز به اشتراک می‌گذارند. شبکه‌های عصبی - فازی تطبیقی، مانند سیستم‌های فازی، دو قسمت را ساماندهی می‌کنند. قسمت نخست، بخش مقدم و قسمت دوم، بخش تالی است که با قوانین به‌صورت شبکه به یکدیگر متصل می‌شوند. شکل (5) ساختار سیستم استنتاج عصبی - فازی تطبیقی نوع 3 با دو ورودی را نشان می‌دهد. ساختار این سیستم از 5 لایه تشکیل شده است [38].

لایۀ اول، فرایند فازی‌سازی را انجام می‌دهد. در این لایه هر گره یک تابع عضویت را نشان می‌دهد که پارامترهای آموزش‌پذیر بخش مقدم هستند. در لایه دوم، میزان قدرت آتش[xxvii] هر قانون محاسبه می‌شود. در لایه سوم، قدرت آتش هر قانون با توجه به قدرت آتش قوانین دیگر نرمال می‌شود. در لایه چهارم، خروجی هر یک از قوانین به دست می‌آید و درنهایت، لایه آخر، خروجی سیستم فازی را با جمع‌کردن خروجی‌های لایه چهارم محاسبه می‌کند.

 

شکل (5): ساختار سیستم استنتاج عصبی - فازی تطبیقی
نوع 3 با دو ورودی و یک خروجی

در این شکل دو برچسب برای هر ورودی نشان داده شده است. مطابق با نوع 3، قوانین به‌صورت زیر هستند:

(4)

 

(5)

 

(6)

 

سیستم استنتاج عصبی - فازی تطبیقی توانایی زیادی در تقریب‌سازی دارد که به توانایی آن در تقسیم‌بندی فضای ورودی با تعیین توابع عضویت در بخش مقدم برای هر ورودی وابسته است.

اینجا از تابع عضویت گوسی استفاده می‌کنیم.

(7)

 

 مجموعه پارامترهای بخش مقدم و  مجموعه پارامترهای بخش تالی هستند.

 

3-2-1-  سیستم استنتاج عصبی - فازی تطبیقی خودبازخورد

در این مدل، ویژگی پویایی با حلقه خودبازخورد خروجی مراحل قبل به دست می‌آید. این بازخورد، سیستم را قادر می‌سازد تا حالت‌های قبلی خود را یادآوری و از هردوی حالات قبلی و فعلی برای محاسبه مقادیر جدید استفاده کند. از نظر علمی، تأخیر زمانی تعبیه‌شده با بازخورد‌ به خود هم نوع است و به رفتار متفاوت دینامیکی منجر می‌شود. چنین رفتاری در بهبود توانایی برای ارائه قابلیت پیش‌بینی بهتر و دقیق‌تر حیاتی است.

برای غلبه مؤثر بر مشکلات سیستم استنتاج عصبی -فازی تطبیقی در مسائل پویا، خروجی شبکۀ پیش‌رونده مانند شکل(6) به ورودی‌های سیستم بازخورد داده می‌شود. با بازخورد خروجی مراحل قبل، خروجی در لحظه t، به‌صورت تابعی از ورودی‌های مستقیم و ورودی و خروجی‌های قبلی تعریف شده است و به‌صورت رابطه (8) داده می‌شود.

(8)

 

که  ورودی‌های مستقیم و  ورودی‌های بازخورد داده‌شده از خروجی‌ در زمان‌های مختلف هستند.

 

شکل (6): ساختار سیستم استنتاج عصبی - فازی تطبیقیبا بازخورد خروجی [39]

 

3-2-2- یادگیری سیستم استنتاج عصبی - فازی

پس از توسعۀ سیستم استنتاج عصبی - فازی تطبیقی، روش‌هایی برای آموزش پارامترهای آن پیشنهاد شد. به‌طور ‌مثال در [40]، روش ادغام Min-Max و مدل ANFIS، برای تعیین شبکه عصبی - فازی و تعیین مجموعه قوانین بهینه سیستم فازی پیشنهاد شده است. Jang و Mizutani [41]، کاربردی از روش Lavenbrg-Marquardt را پیشنهاد دادند که اساساً یک روش حداقل مربعات غیر‌خطی است. برای یادگیری سیستم استنتاج عصبی - فازی تطبیقی، در مقاله‌ای دیگر Jang [42]، طرحی را برای انتخاب ورودی ارائه داد. Jang در مقالۀ معروف خود [38]، چهار روش برای به‌روز‌رسانی پارامترهای سیستم ارائه کرد:
1) گرادیان نزولی: همۀ پارامترها با کمک گرادیان نزولی آموزش ببینند؛ 2)گرادیان نزولی و یک مرحله تخمین حداقل مربعات LSE در گام اول برای مقدار‌دهی اولیه به پارامترهای بخش تالی استفاده می‌شود؛ سپس گرادیان نزولی، تمام پارامترها را به‌روزرسانی می‌کند؛ 3) گرادیان نزولی و LSE: بخش مقدم با گرادیان نزولی و بخش تالی با LSE آموزش می‌بینند؛ 4) LSE ترتیبی: این روش تمام پارامترها را خطی می‌کند و از الگوریتم فیلتر - کالمن توسعه‌یافته برای به‌روز‌رسانی پارامتر‌ها استفاده می‌کند.

روش‌هایی که تا کنون مطرح شد، وابسته به گرادیان هستند‌ و به‌دلیل عملکرد مناسب هنوز هم به‌کاربرده می‌شوند. روش‌هایی که وابسته به حداقل مربعات هم بودند، روش‌هایی مؤثر بر بهینه‌سازی پارامترهای بخش تالی هستند که هنوز به‌کاربرده می‌شوند. پارامترهای بخش مقدم اهمیت زیادی در آموزش دارند و روش‌های موجود به دلیل پیچیدگی بالا در محاسبات گرادیانی و با توجه به حضور غیرخطی پارامترهای مقدم در خروجی، مناسب به نظر نمی‌رسند. برای رفع این مشکل، روش‌های مبتنی بر جمعیت مطرح می‌شود؛ به‌طور‌مثال، روش‌های الگوریتم‌های ژنتیک، بهینه‌سازی گروهی ذرات، کلونی‌های مورچگان و دیگر روش‌های وابسته [28،43]. کارهای زیادی برای آموزش شبکه‌های عصبی - فازی با ترکیب الگوریتم‌های تکاملی و روش‌های گرادیان نزولی، حداقل مربعات و فیلتر کاملن مطرح شده است. به‌عنوان نمونه در [44] الگوریتم PSO در آموزش بخش مقدم و گرادیان نزولی در بخش تالی به‌کارگیری شده است. در [45] آموزش بخش مقدم با PSO و بخش تالی با حداقل مربعات صورت می‌گیرد.

در این مقاله برای آموزش پارامترهای سیستم استنتاج عصبی - فازی تطبیقی روشی ارائه شده است که پیچیدگی کمتر و صحت بیشتری دارد و در آن، آموزش پارامترهای بخش مقدم و تالی به‌صورت یک‌روال تکراری با الگوریتم تکاملی رقابت استعماری ICA و حداقل مربعات LSE صورت می‌گیرد. در بخش بعدی سیستم استنتاج عصبی -فازی تطبیقی بهبودیافته برای پیش‌بینی ارائه شده است.

 

4- روش پیشنهادی

در این بخش، الگوریتم روش پیشنهادی برای پیش‌بینی سری زمان به‌صورت مرحله‌به‌مرحله شرح داده می‌شود.

  • گام اول: بازسازی فضای حالت سری زمانی آشوبی. در راستای مطالعۀ خواص هندسی و دینامیکی یک سیستم معین از توصیف فضای حالت استفاده شده است. یکی از اساسی‌ترین گام‌ها در تحلیل سری‌های زمانی حاصل از یک فرآیند غیرخطی، بازسازی فضای حالت با ابعاد محدود با استفاده از این سری‌ها است؛ به‌طوری‌که با فضای حالت فرآیند مولد داده‌ها معادل باشد. با نظریه محاط، مسئلۀ بازسازی فضای حالت از سری زمانی حل می‌شود. درواقع، نقاط روی جاذب سیستم رابطه‌ای یک‌به‌یک با اندازه‌گیری‌های انجام‌شده از متغیرهای دینامیکی سیستم دارند. از طرفی، این نقاط اطلاعات کامل درمورد حالت فعلی سیستم دارند؛ بنابراین، وجود رابطۀ یک‌به‌یک بدین معناست که با اندازه‌گیری‌های انجام‌شده، حالات فضای فاز ‌شناسایی می‌شوند؛ ازاین‌رو، باید به دنبال نگاشتی از جاذب سیستم به فضای بازسازی‌شده بود؛ به‌طوری‌که این نگاشت یک‌به‌یک است و اطلاعات سیستم را حفظ می‌کند. این درواقع، تعریف مفهومی محاط است. با استفاده از تئوری تاکنز در بازسازی فضای حالت از روی سری‌های زمانی آشوبی [46]، فضای حالت سیستم به کمک دو پارامتر بعد محاط D و زمان تأخیر t بازسازی می‌شوند. درصورتی‌که سری زمانی به‌صورت  باشد، یک بردار فاز تعبیه‌شده  به‌صورت زیر است:

(9)

 

که ، D بعد محاط، t تأخیر زمانی و  فضای فاز D بعدی است. بر اساس این، ماتریس ورودی به‌صورت فرمول (10) تعریف می‌شود.

(10)

 

که  یک عدد صحیح،  و  تعداد مراحل پیش‌بینی‌شده است. برای استخراج رفتار سری زمانی به یک روش کارآمد، مقادیر بهینه D و t باید تعیین شوند. برای سری­های زمانی آزمایش‌شده در این مقاله، این مقادیر به ترتیب با کاربرد روش­های میانگین اطلاعات متقابل [47] و شمارش نزدیک‌ترین همسایه­های کاذب [1] تعیین شده‌اند.

  • گام دوم: دریافت ماتریس سری زمانی به‌عنوان ورودی مستقیم، و خروجی بازخوردشده از مراحل قبلی به‌عنوان ورودی بازخورد به ساختار سیستم استنتاج عصبی - فازی تطبیقی. ورودی مستقیم به ساختار سیستم استنتاج عصبی -فازی تطبیقی بهبودیافته، ماتریسی با بردار فاز تعبیه‌شدۀ ستون و سری زمانی آشوبناک به‌عنوان ردیف است. ورودی مستقیم ماتریس به‌صورت زیر است:

 

(11)

 

ابعاد ماتریس ورودی مستقیم  است و  و  تعداد مراحل پیش‌بینی‌شده است.

ورودی بازخورد در زمان t از مرتبه M به‌صورت زیر است:

(12)

 

ابعاد ماتریس ورودی بازخورد  است.

  • گام سوم: آموزش سیستم استنتاج عصبی - فازی تطبیقی بهبودیافته با بازخورد خروجی از مرحله قبل در یک‌روال تکراری با الگوریتم ترکیبی رقابت استعماری ICA و تخمین حداقل مربعاتLSE . است. این فرایند آموزش ترکیبی برای تعیین پارامترهای بخش مقدم و تالی سیستم استنتاج عصبی - فازی تطبیقی به‌منظور افزایش دقت پیش‌بینی به‌کار می‌رود. هرگاه تعداد مراحل مدّنظر انجام شده یا خطای آموزش مدّنظر حاصل شده باشد، فرایند آموزش متوقف می‌شود. در این روال در هر مرحله از خروجی‌های M، مرحله قبل به‌عنوان ورودی‌های بازخورد داده‌شده به سیستم استنتاج عصبی - فازی تطبیقی استفاده شده است. پس از تعریف داده‌های آموزش، داده‌های وارسی، تعداد مراحل آموزش و نوع توابع عضویت سیستم استنتاج فازی، مقادیر بهینه پارامترهای بخش مقدم در هر مرحله با ICA تعیین می‌شوند و پس از این مرحله، پارامترهای بخش نتیجۀ سیستم استنتاج عصبی - فازی تطبیقی بهبودیافته باLSE  تخمین زده می‌شوند. این الگوریتم در هفت مرحله انجام می‌شود:
  • مرحله 1: (تشکیل امپراتوری‌های اولیه)

1) مقداردهی اولیه به پارامترهای تابع عضویت ورودی  (درصورتی‌که توابع عضویت از نوع گوسی باشند) به‌صورت تصادفی و بر اساس آن، تخمین پارامترهای بخش تالی ، با .LSE

2) محاسبه شایستگی کشورها براساس معیار میانگین مربعات خطا (MSE).

3) انتخاب بهترین کشورهای استعمارگر اولیه و بقیۀ کشورهای مستعمره (در این مقاله برای انتخاب مستعمره برای هر امپراتوری، از روش نمونه‌برداری عمومی اتفاقی[xxviii] SUS استفاده شده است).

  • مرحله 2: (اعمال عملگرها)

اعمال عملگرهای جذب و انقلاب برای مجموعه پارامترهایی که در هر تکرار به‌روزرسانی می‌شوند. به‌طور‌مثال در تکرار اول، پارامتر  و در تکرار دوم، پارامتر  به‌روز‌رسانی می‌شود و درنهایت پس از به‌روزشدن کلیۀ پارامترها، مجدد به‌روزرسانی پارامتر اول از سر گرفته می‌شود و به همین ترتیب ادامه پیدا می‌کند. با هر تغییر در پارامترهای بخش مقدم، پارامترهای بخش تالی نیز با LSE تخمین زده می‌شوند.

  • مرحله 3: (رقابت درون‌گروهی)

درصورتی‌که بعد از اعمال عملگرها به پارامتر‌های اولیه، بعضی از مستعمره‌ها به موقعیتی بهتر از استعمارگر خود برسند (نقاطی که هزینه کمتری نسبت به استعمارگر داشته باشد)، موقعیت استعمارگر و مستعمره باهم عوض می‌شود و الگوریتم با استعمارگر در موقعیت جدید ادامه پیدا می‌کند.

  • مرحله 4: (محاسبه قدرت کل هر امپراتوری)

قدرت کل هر امپراتوری براساس رابطه (3) محاسبه می‌شود. در این مسئله، هدفْ حداقل‌کردن اختلاف بین خروجی سیستم استنتاج عصبی - فازی تطبیقی و خروجی واقعی است و تابع هدف برای هر امپراتوری، به‌صورت تابع هزینه و فرمول (13) تعریف می‌شود.

(13)

 
  • مرحله 5: (رقابت استعماری)

امپراتوری‌ها براساس معیار قدرت کل امپراتوری با یکدیگر رقابت می‌کنند. یک مستعمره از ضعیف‌ترین امپراتوری جدا می‌شود و یک رقابت بین سایر امپراتوری‌ها برای در اختیار قرار گرفتن آن شکل می‌گیرد. امپراتوری که کلیه مستعمره‌هایش را از دست داد، سقوط می‌کند. در این مقاله با استعمارگر امپراتوری سقوط‌کرده نیز مانند یک مستعمرۀ آزاد رفتار می‌شود و آن نیز بین سایر امپراتوری‌ها به رقابت گذاشته می‌شود.

  • مرحله6: در این مرحله، استعمارگر بهترین امپراتوری با جواب در هر تکرار الگوریتم انتخاب شده است و سیستم پیشنهادی با پارامترهای بخش مقدم کدشده در این جواب و پارامترهای بخش نتیجه تخمین زده‌شده از LSE به‌روز‌رسانی می‌شود. در این مرحله، به‌منظور جلوگیری از آموزش زیاد دیدن مدل از مجموعه داده‌های وارسی استفاده می‌شود.
  • مرحله 7 (خاتمه): درصورتی‌که شرط خاتمه برآورده شده باشد یا به نتیجه مدّنظر رسیده باشد، الگوریتم خاتمه پیدا می‌کند.

شکل (7) ساختار الگوریتم آموزش پیشنهادی را نشان می‌دهد.

 

شکل (7): ساختار الگوریتم آموزش پیشنهادی

 

5- نتایج عددی

برای ارزیابی روش پیشنهادی، آزمایش‌ها و شبیه‌سازی‌های جامعی با سیستم استنتاج عصبی - فازی تطبیقی خودبازخورد آموزش‌یافته با الگوریتم آموزش پیشنهادی صورت گرفت. در تمام موارد، 50 % داده‌ها برای آموزش، 20 % برای بررسی و 30 % بقیه برای آزمودن مدل به‌کار می‌روند. برای ارزیابی عددی صحت پیش‌بینی معیارهای زیر استفاده می‌شوند.

(14)

 

(15)

 

که  و  به ترتیب مقدار واقعی و مقدار پیش‌بینی‌شده و N تعداد کل نمونه‌ها هستند.

 

الف) سری زمانی Mackey-Glass

سری زمانی Mackey-Glass با معادلۀ دیفرانسیل تأخیر زمانی (16) و یک مدل برای تولید گلبول‌های سفید خون ارائه می‌شود.

(16)

 

این سری زمانی بسیار حساس به شرایط اولیه است و رفتار آن برای آشوبناک است و هیچ دورۀ به‌وضوح مشخص ندارد. این سری زمانی در تحقیقات مدل‌سازی شبکه‌های عصبی و فازی متعددی استفاده ‌شده است. در اینجا و  هستند. مقادیر استاندارد برای بازسازی فضای حالت این سری زمانی به ترتیب  و  هستند که به ترتیب با روش‌های میانگین اطلاعات متقابل و شمارش نزدیک‌ترین همسایه‌های کاذب به دست می‌آیند. بنابراین فضای فاز این سری به‌صورت  برای پیش‌بینی  (پیش‌بینی 6 گام جلوتر) بازسازی می‌شود. 50 % از داده‌ها برای آموزش، 20 % برای بررسی و 30 % از آن برای آزمودن استفاده می‌شوند.

مدل پیشنهادی برای پیش‌بینی این سری زمانی با پارامترهای ذکرشده در جدول (1) آموزش می‌بیند.

نمودار همگرایی و کاهش خطای روش پیشنهادی در شکل (8) نشان داده شده است. مقادیر واقعی و پیش‌بینی‌شده سری زمانی تست در شکل (9) و نمودار خطای پیش‌بینی در شکل (10) نشان داده شده‌اند.

جدول (1): پارامترهای روش پیشنهادی

نوع یا مقدار

پارامتر

2

N تعداد ورودی‌های بازخورد

20

تعداد خوشه‌ها

50

تعداد کشورها

10

تعداد امپراتوری‌ها

100

تعداد مراحل

2

a

2

b

0.2

احتمال انقلاب

0.05

m

0.01

x

 

شکل (8): نمودار همگرایی برای سری زمانی
Mackey-Glass

 

 

شکل (9): مقادیر هدف و پیش‌بینی‌شده سری زمانی Mackey-Glass

 

به‌منظور ارزیابی عددی این روش با روش‌های قبلی برای پیش‌بینی، RMSE آموزش و تست روش پیشنهادی و برخی از روش‌های ارائه‌شده در مقالات در جدول (2) نشان داده شده است. سطر آخر این جدول، نتایج روش پیشنهادی را نشان می‌دهد. نتایج، نشان‌دهندۀ برتری و کارایی بهتر روش ارائه‌شده برای پیش‌بینی این سری زمانی آشوبناک هستند.

شکل (10): نمودار خطای پیش‌بینی برای سری زمانی Mackey-Glass

جدول ( 2): مقایسه کارایی پیش‌بینی سری زمانی

Mackey-Glass

RMSE Test

RMSE Train

Method

0.19

-

Auto-regressive model [37]

0.06

-

Cascade correlation NN [37]

0.02

-

Back propagation NN [37]

0.55

-

Linear prediction method [37]

0.09

-

Product T-norm [26]

0.0114

-

Classical RBF (with 23 neurons) [48]

0.0028

-

PG-RBF network [49]

0.049

-

Genetic algorithm and fuzzy system [50]

0.0069

-

Neural tree model [51]

0.0071

0.0067

WNN [37]+gradient

0.0041

0.0038

LLWNN [37]+gradient

0.0036

0.0033

LLWNN [37]+hybrid

0.0013

-

Recurrent ANFIS [52]

0.00156

-

ANFIS [38]

0.0015

-

RBF network [53]

0.0025

-

Ensembles of ANFIS [54]

0.012

-

Fuzzy prediction based on SVD [10]

0.0028

-

LS-SVM based on PSO [55]

0.0020

0.0013

LLNF[56]

0.00079

0.00070

LNF with LSSVMs[57]

0.0011

0.0011

ICA-ANFIS

0.00016

0.00015

Improved ICA-ANFIS

 

 

 

ب) سری زمانی Lorenz

سری زمانی Lorenz، با سه معادلات دیفرانسیل فرمول (17) تولید می‌شود.

(17)

 

در  خروجی سیستم آشوبناک است. مقادیر استاندارد برای بازسازی فضای حالت این سری زمانی  و  هستند. در شبیه‌سازی برای مقایسه سری زمانی با سایر کارهای مشابه، سری زمانی  در نظر گرفته می‌شود.

متغیرهای ورودی  برای پیش‌بینی  هستند (پیش‌بینی سه‌گام جلوتر). این سری زمانی، با پارامترهای ذکرشده در جدول (1) آموزش میبیند. نمودار همگرایی و کاهش خطای روش پیشنهادی در شکل (11) نشان داده شده‌اند.

 

شکل (11): نمودار همگرایی برای سری زمانی Lorenz

خروجی پیش‌بینی‌شده و نمودار خطای پیش‌بینی به ترتیب در شکل‌های (12) و (13) نشان داده شده‌اند.

 

شکل (12): نمودار خروجی پیش‌بینی برای سری زمانی Lorenz

به‌منظور ارزیابی عددی این روش با روش‌های قبلی برای پیش‌بینی، NMSE آموزش و تست روش پیشنهادی و تعدادی از روش‌های ارائه‌شده در مقالات در جدول (3) نشان داده شده‌اند. سطر آخر این جدول، نتایج روش پیشنهادی را نشان می‌دهد. نتایج، نشان‌دهندۀ برتری و کارایی بهتر روش ارائه‌شده برای پیش‌بینی این سری زمانی آشوبناک هستند.

 

شکل (13): نمودار خطای پیش‌بینی برای سری زمانی Lorenz

جدول (3): مقایسه کارایی پیش‌بینی سری زمانی Lorenz

NMSE Test

NMSE Train

Method

0.00162

0.00023

MLP-EKF [58]

0.00096

0.00033

MLP-BLM [58]

0.00185

0.00056

RNN-BPTT [58]

0.00172

0.00057

RNN-RTRL [58]

0.00121

0.00036

RNN-EKF [58]

0.00090

0.00036

RBLM-RNN [58]

0.0021

0.0026

ANFIS[38]

0.0106

-

Fuzzy prediction based on SVD [10]

0.00018

-

LS-SVM based on PSO [55]

0.00029

0.00013

LLNF[56]

0.000064

0.000017

LNF with LSSVMs[57]

0.00012

0.00007

ICA-ANFIS

0.000056

0.0000051

Improved ICA-ANFIS

ج) سری زمانی Rossler

مدل Rossler سیستمی از سه معادله دیفرانسیل معمولی است که یک سیستم دینامیکی پیوسته را تعریف می‌کند؛ این سیستم نشان‌دهندۀ دینامیک آشوبناک مرتبط با خواص فراکتال از جذب Rossler است. سری زمانی Rossler با معادلات دیفرانسیل زیر تعریف می‌شود:

(18)

 

برای  رفتار سیستم آشوبناک می‌شود. مقادیر استاندارد برای بازسازی فضای حالت این سری زمانی  و  هستند.

متغیرهای ورودی  برای پیش‌بینی  هستند (پیش‌بینی دو گام جلوتر). این سری زمانی با پارامترهای ذکرشده در جدول (1) آموزش می‌بیند. نمودار همگرایی و کاهش خطای روش پیشنهادی در شکل (14) نشان داده شده است. خروجی پیش‌بینی‌شده و نمودار خطای پیش‌بینی به ترتیب در شکل‌های (15) و (16) نشان داده شده‌اند.

 

شکل (14): نمودار همگرایی برای سری زمانی Rossler

 

شکل (15): نمودار خروجی پیش‌بینی برای سری زمانی Rossler

 

شکل (16): نمودار خطای پیش‌بینی برای سری زمانی Rossler

به‌منظور ارزیابی عددی این روش با روش‌های قبلی برای پیش‌بینی، NMSE آموزش و تست روش پیشنهادی و تعدادی از روش‌های ارائه‌شده در مقالات در جدول (4) نشان داده شده‌اند. سطر آخر این جدول، نتایج روش پیشنهادی را نشان می‌دهند. نتایج، نشان‌دهندۀ برتری و کارایی بهتر روش ارائه‌شده برای پیش‌بینی این سری‌ زمانی آشوبناک هستند.

جدول (4): مقایسه کارایی پیش‌بینی سری زمانی Rossler

NMSE Test

NMSE Train

Method

0.00193

0.00025

MLP-EKF [58]

0.00101

0.00047

MLP-BLM [58]

0.00311

0.00070

RNN-BPTT [58]

0.00312

0.00071

RNN-RTRL [58]

0.00191

0.00060

RNN-EKF [58]

0.00092

0.00057

RBLM-RNN [58]

0.0118

0.0147

ANFIS[38]

0.000071

0.000048

LLNF[56]

0.000015

0.0000065

LNF with LSSVMs[57]

0.00010

0.000083

ICA-ANFIS

0.000004

0.0000007

Improved ICA-ANFIS

ج) سری زمانی تعداد لکه‌های خورشیدیSunspot Number

سری زمانی تعداد لکه‌های خورشیدی، سری زمانی غیر‌ثابت و بسیار پیچیده جهان واقعی است. این سری مربوط به تعداد نسبی متوسط سالانه ‌‌از لکه‌های خورشیدی مشاهده‌شده است. سری زمانی متوسط لکه‌های خورشیدی ثبت‌شده از سال 1700 تا 1979 در [66] ارائه شده است.

مقادیر استاندارد برای بازسازی فضای حالت این سری زمانی  و  هستند؛ بنابراین متغیرهای ورودی  برای پیش‌بینی  هستند (پیش‌بینی یک گام جلوتر). نمودار همگرایی و کاهش خطای روش پیشنهادی در شکل (17) نشان داده شده‌اند.

 

شکل (17): نمودار همگرایی برای سری زمانی
Sunspot Number

مقادیر واقعی و پیش‌بینی‌شده سری زمانی تست در شکل (18) و نمودار خطای پیش‌بینی در شکل (19) نشان داده‌شده‌اند.

 

شکل (18): نمودار خروجی پیش‌بینی برای سری زمانی Sunspot Number

به‌منظور ارزیابی عددی این روش با روش‌های قبلی برای پیش‌بینی، RMSE آموزش و تست روش پیشنهادی و تعدادی از روش‌های ارائه‌شده در مقالات در جدول (5) نشان داده شده‌اند. سطر آخر این جدول، نتایج روش پیشنهادی را نشان می‌دهد. نتایج، نشان‌دهندۀ برتری و کارایی بهتر روش ارائه‌شده برای پیش‌بینی این سری‌ زمانی هستند.

 

شکل (19): نمودار خطای پیش‌بینی برای سری زمانی Sunspot Number

 

جدول (5): مقایسه کارایی پیش‌بینی سری زمانی
Sunspot Number

RMSE Test

RMSE Train

Method

0.097

0.097

Tong and Lim [59]

0.086

0.082

Weigend [60]

0.082

0.090

Svarer [61]

0.0971

0.0987

Transversal net [62]

0.0972

0.1006

Recurrent net [62]

0.074

-

RFNN [63]

0.1915

0.0550

ANFIS [38]

-

-

FENN [64]

0.1093

0.0895

FWNN-S [65]

0.1099

0.0796

FWNN-R [65]

0.0973

0.0828

FWNN-M [65]

0.087

0.0714

LLNF [56]

0.063

0.050

LNF with LSSVMs [57]

0.0030

0.0046

Improved ICA-ANFIS

 

6- نتیجه‌گیری

در این مقاله، یک نسخه بهبودیافته از سیستم استنتاج عصبی - فازی تطبیقی با بازخورد خروجی و آموزش‌یافته با الگوریتم رقابت استعماری ICA، برای پیش‌بینی سری‌های زمانی آشوبناک معرفی شد. بازخورد خروجی مراحل قبل، سیستم استنتاج عصبی - فازی تطبیقی را قادر می‌سازد تا با در نظر گرفتن یک حافظه بر محدودیت‌های ماهیت ایستای خود غلبه کند و توانایی آن در مقابله با مسائل پویا و تغییرات زمانی رخ‌داده در داده‌ها افزایش یابد. علاوه بر این، در روش پیشنهادی و فرایند آموزش سیستم استنتاج عصبی - فازی تطبیقی بهبودیافته، از الگوریتم ترکیبی رقابت استعماری ICA و تخمین حداقل مربعات LSE برای آموزش پارامترهای آن به‌کار گرفته شد که استفاده از این الگوریتمِ یادگیری باعث می‌شود ضمن حذف‌شدن مشکلات ناشی از به‌روزرسانی پارامترها با روش‌های مبتنی بر گرادیان، ساختار بهینۀ سیستم استنتاج عصبی - فازی تطبیقی، به بهترین نحو، شناسایی و تنظیم شود. علاوه بر این، پیچیدگی این الگوریتم یادگیری نسبت به روش‌های مبتنی بر گرادیان کمتر است. نتایج استفاده از این روش برای پیش‌بینی سری‌های زمانی آشوبناک، نشان‌دهندۀ بهبود درخور ‌توجه عملکرد سیستم استنتاج عصبی - فازی تطبیقی بهبودیافته، نسبت به روش‌های قبلی است؛ این نشان‌دهندۀ عملکرد مناسب سیستم استنتاج عصبی - فازی تطبیقی بهبودیافته در مقابله با مسائل پویا و همچنین توانایی زیاد آن در فرایند یادگیری پارامترها است.



[1]تاریخ ارسال مقاله: 18/4/1394

تاریخ پذیرش مقاله: 17/2/1396

نام نویسندۀ مسئول: مجید محمدی

نشانی نویسندۀ مسئول: ایران – کرمان – دانشگاه شهید باهنر کرمان – دانشکدۀ مهندسی- بخش مهندسی کامپیوتر



[i] Nonlinearity

[ii] Chaotic

[iii] Non-Stationary

[iv] Periodic

[v] Seasonality

[vi] Adaptive Fuzzy Inference System (ANFIS)

[vii] Imperialist Competitive Algorithm (ICA)

[viii] Least Squares Estimates (LSE)

[ix] Wavelet networks

[x] Neural Networks

[xi] Fuzzy Neural Networks (FNNs)

[xii] Evolutionary Algorithms

[xiii] Recurrent Neural Networks (RNN)

[xiv] Feedbacks

[xv] Gradient Based

[xvi] Genetic Algorithms

[xvii] Premise

[xviii] Conclusion

[xix] Local Optimum

[xx] Batch Type Local Search

[xxi] Imperialist

[xxii] Colony

[xxiii] Assimilation Policy

[xxiv] Converge

[xxv] Exploration

[xxvi] Roulette Wheel

[xxvii] Firing Strength

28 Stochastic Universal Sampling

 

 

[1]        Abarbanel H. Analysis of Observed Chaotic Data: Springer Study Edition. Institute for Nonlinear Science Series; Springer Verlag, 1996. ISBN: 9780387983721. URL: http:// books.google.de/books?id=OiT9yfEou6MC.

[2]        Kantz H, Schreiber T. Nonlinear Time Series Analysis. New York, NY, USA: Cambridge University Press; 2003. ISBN 0521529026.

[3]        Zhou Y., Li S., Jin R., "A new fuzzy neural network with fast learning algorithm and guaranteed stability for manufacturing process control", Fuzzy Sets and Systems, Vol. 132, No. 2, pp. 201-216, 2002.

[4]        Haykin S., Neural Networks: A Comprehensive Foundation (3rd Edition). Upper Saddle River, NJ, USA: Prentice-Hall, Inc.; 2007. ISBN 0131471392.

[5]        Box GEP, Jenkins GM. Time Series Analysis: Forecasting and Control.3rd ed.; Upper Saddle River, NJ, USA: Prentice Hall PTR; 1994. ISBN 0130607746.

[6]        Gooijer JGD. , Hyndman RJ. ,"25 years of time series forecasting". International Journal of Forecasting, Vol. 22, No.3, pp. 443-473, 2006.

[7]        Bodyanskiy Y., Vynokurova O., "Hybrid adaptive wavelet-neuro-fuzzy system for chaotic time series identication", Information Sciences, Vol. 220, No. 0, pp.170.179, 2013.

[8]        Hsu CF., "Adaptive fuzzy wavelet neural controller design for chaos synchronization", Expert Systems with Applications, Vol. 38, No. 8, pp. 10475-83, 2011.

[9]        Leung H., Lo T., Wang S., "Prediction of noisy chaotic time series using an optimal radial basis function neural network", IEEE Transactions on Neural Networks, Vol. 12, No. 5, pp. 1163-1172, 2001.

[10]     Han M., Xi J., Xu S., Yin FL., "Prediction of chaotic time series based on the recurrent predictor neural network", IEEE Transactions on Signal Processing, Vol. 52, No. 12, pp.  3409-3416, 2004.

[11]     Lee CHL, Liu A., Chen WS., "Pattern discovery of fuzzy time series for financial prediction", IEEE Transactions on Knowledge and Data Engineering, Vol. 18, No. 5, pp.  613-625, 2006.

[12]     Gu H., Wang H., "Fuzzy prediction of chaotic time series based on singular value decomposition", Applied Mathematics and Computation, Vol.185, No. 2, pp. 1171-1185, 2007.

[13]     Ang K., Quek C., "Stock trading using rspop: A novel rough set-based neuro-fuzzy approach", IEEE Transactions on Neural Networks, Vol.17, No.5, pp.1301-1315, 2006.

[14]     Zaheeruddin, Garima, "A neuro-fuzzy approach for prediction of human work efficiency in noisy environment", Applied Soft Computing, Vol. 6, No. 3, pp. 283-294, 2006.

[15]     M. JLA., Snchez JMB., Lugilde DN., de Linares Fernndez C., de la Guardia CD., Snchez FA., "Forecasting airborne pollen concentration time series with neural and neuro-fuzzy models", Expert Systems with Applications, Vol. 32, No. 4, pp. 1218 – 1225, 2007.

[16]     Zhang J., Chung HH., Lo WL., "Chaotic time series prediction using a neuro-fuzzy system with time-delay coordinates", IEEE Transactions on Knowledge and Data Engineering, Vol. 20, No. 7, pp.  956-964, 2008.

[17]     Samanta B., "Prediction of chaotic time series using computational intelligence", Expert Systems with Applications, Vol. 38, No. 9, pp.  11406-11411, 2011.

[18]     Gromov VA., Shulga AN., "Chaotic time series prediction with employment of ant colony optimization", Expert Systems with Applications, Vol. 39, No. 9, pp. 8474-8478, 2012.

[19]     Niu D., Wang Y., Wu DD., "Power load forecasting using support vector machine and ant colony optimization", Expert Systems with Applications, Vol. 37, No. 3, pp. 2531-2539,  2010.

[20]     Wang J., Chi D., Wu J., Yan Lu. H., "Chaotic time series method combined with particle swarm optimization and trend adjustment for electricity demand forecasting", Expert Systems with Applications, Vol. 38, No. 7, pp. 8419-8429, 2011.

[21]     Zhao L., Yang Y., "Pso-based single multiplicative neuron model for time series prediction", Expert Systems with Applications, Vol. 36, No. 2 (part 2), pp. 2805-2812, 2009.

[22]     Li X., Yu W., "Dynamic system identification via recurrent multilayer perceptrons", Information Sciences, Vol. 147, No. 14, pp. 45-63, 2002.

[23]     Lin FJ., Shieh HJ., Shieh PH., Shen PH., "An adaptive recurrent-neural network motion controller for x-y table in cnc machine", IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, Vol. 36, No.2, pp. 286-299, 2006.

[24]     Lin FJ., Shieh HJ., Teng LT., Shieh PH., "Hybrid controller with recurrent neural network for magnetic levitation system",  IEEE Transactions on Magnetics, Vol. 41, No. 7, pp. 2260-2269, 2005.

[25]     Yu W., "Nonlinear system identification using discrete-time recurrent neural networks with stable learning algorithms", Information Sciences, Vol. 158, No. 0, pp. 131-147, 2004.

[26]     Lin CJ., Lin CT., "An art-based fuzzy adaptive learning control network", IEEE Transactions on  Fuzzy Systems, Vol. 5, No. 4, pp. 477-496, 1997.

[27]     Wang LX., Mendel J., "Generating fuzzy rules by learning from examples", IEEE Transactions on Systems, Man and Cybernetics, Vol. 22, No. 6, pp. 1414-1427, 1992.

[28]     Lee CH., Teng CC., "Identification and control of dynamic systems using recurrent fuzzy neural networks", IEEE Transactions on Fuzzy Systems, Vol. 8, No. 4, pp. 349-366, 2000.

[29]     Juang CF., "A tsk-type recurrent fuzzy network for dynamic systems processing by neural network and genetic algorithms", IEEE Transactions on Fuzzy Systems, Vol. 10, No. 2, pp. 155-170, 2002.

[30]     Mastorocostas P., Theocharis J., "A recurrent fuzzy-neural model for dynamic system identification", IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, Vol. 32, No. 2, pp. 176-190, 2002.

[31]     Su SF., Yang FY., "On the dynamical modeling with neural fuzzy networks", IEEE Transactions on Neural Networks, Vol. 13, No. 6, pp. 1548-1553,  2002.

[32]     Mandic DP., Chambers J., Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability. New York, NY, USA: John Wiley & Sons, Inc., 2001. ISBN 0471495174

[33]     Goldberg DE., Genetic Algorithms in Search, Optimization and Machine Learning. 1st ed.; Boston, MA, USA: Addison-Wesley Longman Publishing Co., Inc., 1989, ISBN 0201157675.

[34]     Lin CJ., Chin CC., "Prediction and identification using wavelet-based recurrent fuzzy neural networks", IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, Vol. 34, No. 5, pp. 2144-2154, 2004.

[35]     Vairappan C., Tamura H., Gao S., Tang Z., "Batch type local search-based adaptive neuro-fuzzy inference system (anfis) with self-feedbacks for time series prediction",  Neurocomputing, Vol. 72, No. 79, pp. 1870-1877, 2009.

[36]     Atashpaz-Gargari E., Lucas C., Imperialist competitive algorithm: An algorithm for optimization inspired by imperialistic competition. In: Evolutionary Computation, IEEE Congress on CEC 2007, pp. 4661-4667. 2007

[37]     Chen Y., Yang B., Dong J., "Time-series prediction using a local linear wavelet neural network", Neurocomputing, Vol. 69, No. 46, pp. 449-465, 2006.

[38]     Jang JS., "Anfis: adaptive-network-based fuzzy inference system", IEEE Transactions on Systems, Man and Cybernetics, Vol. 23, No. 3, pp. 665-685, 1993.

[39]     Jassar S., Liao Z., Zhao L., "A recurrent neuro-fuzzy system and its application in inferential sensing", Applied Soft Computing, Vol. 11, No. 3, pp. 2935-2945, 2011.

[40]     Mascioli F., Varazi GM., Martinelli G., "Constructive algorithm for neuro-fuzzy networks", Proceedings of the Sixth IEEE International Conference on Fuzzy Systems, Vol. 1, pp. 459-464, 1997.

[41]     Jang JS., Mizutani E., "Levenberg-marquardt method for anfis learning", Fuzzy Information Processing Society, 1996. NAFIPS. 1996 Biennial Conference of the North American, pp. 87-91, 1996.

[42]     Jang JS., "Input selection for anfis learning", IEEE International Conference on Fuzzy Systems, 1996. Proceedings of the Fifth, Vol. 2, pp. 1493-1499, 1996.

[43]     Juang CF., Liou YC., "Tsk-type recurrent fuzzy network design by the hybrid of genetic algorithm and particle swarm optimization", IEEE International Conference on Systems, Man and Cybernetics, 2004, Vol. 3, pp. 2314-2318,  2004.

[44]     Shoorehdeli MA., Teshnehlab M., Sedigh AK., Khanesar MA., "Identification using anfis with intelligent hybrid stable learning algorithm approaches and stability analysis of training methods", Applied Soft Computing, Vol. 9, No. 2, pp. 833-850, 2009.

[45]     Shoorehdeli MA., Teshnehlab M., Sedigh A., "Novel hybrid learning algorithms for tuning anfis parameters using adaptive weighted pso", IEEE International Fuzzy Systems Conference, 2007. FUZZ-IEEE, pp. 1-6, 2007.

[46]     Takens F., Detecting strange attractors in turbulence, Rand D, Young LS, editors. Dynamical Systems and Turbulence, Warwick 1980; Vol. 898, of Lecture Notes in Mathematics. Springer Berlin Heidelberg, pp. 366-381, 1981.

[47]     Alparslan AK., Sayar M., Atilgan AR., "State-space prediction model for chaotic time series" Physical Review E, Vol. 58, No.2, pp. 2640-2643, 1998.

[48]     Cho KB., Wang BH.. "Radial basis function based adaptive fuzzy systems and their applications to system identification and prediction", Fuzzy Sets and Systems, Vol. 83, No. 3, pp. 325-339, 1996.

[49]     Rojas I., Pomares H., Bernier J., Ortega J., Pino B., Pelayo F., "Time series analysis using normalized pg-rbf network with regression weights", Neurocomputing, Vol. 42, No. 14, pp. 267-285, 2002.

[50]     Kim D., Kim C., "Forecasting time series with genetic fuzzy predictor ensemble", IEEE Transactions on Fuzzy Systems, Vol 5, No. 4, pp. 523-535, 1997.

[51]     Chen Y., Yang B., Dong J., "Nonlinear system modelling via optimal design of neural trees", International Journal of Neural Systems, Vol. 14, No. 2, pp. 125-137, 2004.

[52]     Tamura H., Tanno K., Tanaka H., Vairappan C., Tang Z., "Recurrent type anfis using local search technique for time series prediction", IEEE Asia Pacific Conference on Circuits and Systems,. APCCAS 2008, pp. 380-383, 2008.

[53]     Harpham C., Dawson C., "The effect of different basis functions on a radial basis function network for time series prediction: A comparative study", Neurocomputing, Vol. 69, No. 1618, pp. 2161-2170, 2006.

[54]     Melin P., Soto J., Castillo O., Soria J., "A new approach for time series prediction using ensembles of anfis models", Expert Systems with Applications, Vol. 39, No. 3, pp.3494-3506, 2012.

[55]     Liu P., Yao J.,"Application of least square support vector machine based on particle swarm optimization to chaotic time series prediction", IEEE International Conference on Intelligent Computing and Intelligent Systems, 2009. ICIS 2009, Vol. 4, pp. 458-462, 2009.

[56]     Yousefi M., Mirmomeni M., Lucas C., "Input variables selection using mutual information for neuro fuzzy modeling with the application to time series forecasting", International Joint Conference on Neural Networks, 2007. IJCNN 2007, pp. 1121-1126, 2007.

[57]     Miranian A., Abdollahzade M., "Developing a local least-squares support vector machines-based neuro-fuzzy model for nonlinear and chaotic time series prediction", IEEE Transactions on Neural Networks and Learning Systems, Vol. 24, No. 2, pp. 207-218, 2013.

[58]     Mirikitani D., Nikolaev N., "Recursive bayesian recurrent neural networks for time-series modeling", IEEE Transactions on  Neural Networks, Vol. 21, No. 2, pp. 262-274, 2010.

[59]     Lim S., Tong H., "Threshold autoregression, limit cycles and cyclical data", Journal of the Royal Statistical Society. B, Vol. 42, No. 3, pp. 245-292, 1980.

[60]     S. Weigend A., A. Huberman B., E. Rumelhart D., "Predicting the future: A connectionist approach", International Journal of Neural Systems, Vol. 1, No. 3, 1990.

[61]     Svarer C., Hansen L. K., Larsen J., "On design and evaluation of tapped-delay neural network architectures", IEEE International Conference on Neural Networks, San Francisco, 1993.

[62]     McDonnell J.R., Waagen, D., "Evolving recurrent perceptrons for time-series modeling", IEEE Transactions on Neural Network, Vol. 5, No. 1, pp. 24–38, 1994.

[63]     Alieva R. A., Guirimov B. G., Fazlollahi B., Aliev R. R., "Evolutionary algorithm-based learning of fuzzy neural networks. Part 2: Recurrent fuzzy neural networks", Fuzzy Sets System, Vol. 160, No. 17, pp. 2553–2566, 2009.

[64]     Hussain A., "A new neural network structure for temporal signal processing", IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP-97 Germany, Vol. 4, pp. 3341–3344. 1997.

[65]     Yilmaz S., Oysal Y., "Fuzzy wavelet neural network models for prediction and identification of dynamical systems", IEEE Transactions on Neural Network, Vol. 21, No. 10, pp.1599-1509, 2010.

[66]     Zhang B.-L., Dong Z.-Y., "An adaptive neural-wavelet model for short term load forecasting" Electric Power Systems Research, Vol. 59, No. 2, pp. 121-129, 2001.