طراحی شبکه عصبی جلو سوی آشوب‏گونه

نوع مقاله: مقاله علمی فارسی

نویسندگان

1 - کارشناسی ارشد مهندسی پزشکی- بیوالکتریک، دانشکده مهندسی پزشکی- دانشگاه صنعتی امیرکبیر- تهران- ایران

2 عضو هیات علمی دانشگاه آزاد اسلامی واحد تهران مرکز، دانشکده مهندسی برق- تهران- ایران

3 کارشناسی ارشد مهندسی برق- الکترونیک، دانشکده مهندسی برق - دانشگاه آزاد اسلامی واحد تهران مرکز- تهران- ایران

چکیده

چکیده: بر اساس مطالعات جدید محققان، سیناپس‌ها یکی از پویاترین اجزا دستگاه عصبی جانداران هستند و حتی پس از مرحله تعلیم نیز قدرت هر سیناپس ثابت باقی نمی‌ماند. در این مقاله، روشی برای آشوبی کردن وزن‌های شبکه عصبی جلو سو ارائه شده است. در این روش وزن‌های یک شبکه عصبی جلو سو پس از تعلیم به عنوان وزن‌های پایه در نظر گرفته شده‏اند. با استفاده از توابع لجستیک (که در محدوده مناسبی به صورت آشوبگونه نوسان می‏کنند) و وزن‏ها‏ی پایه، شبکه عصبی جلو سوی آشوب‏گونه‌ای طراحی گردید که وزن‌های آن در هر لحظه به صورت آشوب‏گونه تغییر می‌کند. با استفاده از الگوریتم ارائه شده در این مقاله، وزن‌های آشوبی طوری با یکدیگر همزمان می‏شوند که خطای خروجی حداقل می‏گردد. با این روش، تمامی داده‌هایی که توسط شبکه جلو سوی پایه اشتباه تشخیص داده شده بودند، شناسایی و برای آنها خروجی "غیر قابل شناسایی" ایجاد می‏شود.

کلیدواژه‌ها


عنوان مقاله [English]

Design of a chaotic feed forward neural network

نویسندگان [English]

  • Aboozar Taherkhani 1
  • Shahram Javadi 2
  • sAM Moeini 3
1 Department of Biomedical Engineering Faculty of Engineering, Amir Kabir University of Technology, Tehran, Iran
2 Department of electrical engineering, Faculty of Engineering, Islamic Azad University Central Tehran Branch, Tehran, Iran
3 Department of electrical engineering, Faculty of Engineering, Islamic Azad University Central Tehran Branch, Tehran, Iran
چکیده [English]

Several scientific researchers have shown that synapses, far from what considered previously, are one of the most dynamic structures in the nervous system. It varies through and after the training stage. A novel feed forward chaotic neural network is designed in this project. The weights of a trained classic feed forward neural network are considered as basic weights. The outputs of chaotic logistic maps are added to the some of the basic weights and this produces a chaotic feed forward neural network. The chaotic weights are synchronized by a proposed algorithm to reduce the output error. Designed chaotic feed forward neural network can separate some data from test set which contain all the recognition errors of the classic feed forward neural network.

کلیدواژه‌ها [English]

  • Key words: Feed forward neural network
  • chaos theory
  • dynamic synapse
  • recognition
  • discriminating hyper plans

مدل‏ها‏ی زیادی برای شبکه‏ها‏ی عصبی مصنوعی ارائه شده‏اند که در هریک از آنها گوشه‏ای از ویژگی‌های مغز مورد توجه قرار گرفته است. ترکیب این مدل‏ها و ایجاد شبکه‏ها‏ی عصبی مصنوعی که عملکرد آنها همخوانی بیشتری با عملکرد مغز دارد، می‏تواند باعث بهبود توان پردازشی شبکه‏ها‏ی عصبی مصنوعی موجود شود. پیشرفت‏ها‏ی جدید در دینامیک‏ها‏ی غیر خطی، شناخت نظریه آشوب و سیستم‏ها‏ی پیچیده از یک سو و پیشرفت در تجهیزات آزمایشگاهی از سوی دیگر، باعث شده است که بشر به وجود خاصیت‏ها‏ی جدید، به ویژه خاصیت آشوب در عملکرد مغز پی ببرد. بنابراین، وارد کردن این خاصیت در مدل‏ها‏ی شبکه عصبی کلاسیک می‏تواند راهی برای بهبود عملکرد آنها باشد. که این مهم از اهداف این مقاله است.

مطالعات محققان در اوایل دهه 90 میلادی نشان داد که سیناپس‌ها، بر خلاف آنچه که پیشتر فرض می‏شد، یکی از پویاترین اجزای دستگاه عصبی جانداران هستند[1،2]. حتی پس از مرحله تعلیم، قدرت سیناپس یک کمیت ثابت باقی نمی­ماند، بلکه به طور پیوسته در حال تغییر است که این تغییر از فعالیت تعدادی فرآیند شیمیایی در نواحی پیش سیناپسی و پس سیناپسی ناشی می‌شود [3]. از آن هنگام، چندین مدل شبکه عصبی بر مبنای نگرش فوق ارائه شده است که عموما از آنها با عنوان شبکه­های عصبی مصنوعی با سیناپس پویا[1] یاد می­شود. از این مدل‏ها تا کنون در کاربردهای گوناگونی، از جمله استخراج ویژگی‏ها‏ی تغییر ناپذیر از سیگنال گفتار متأثر از تنوعات، طبقه­بندی الگوهای فضایی- زمانی تصادفی، تقریب فیلترهای تربیعی و شناسایی گوینده استفاده گردیده است. با وجود این، هنوز بر سر روش فراگیر تعلیم این گونه شبکه‏ها‏ی عصبی توافقی وجود ندارد [4، 5، 6، 7، 8 و 9]. برای تعلیم شبکه­های عصبی مصنوعی با سیناپس پویا تعدادی روش بر مبنای تطبیق بلندمدت با الهام از طبیعت، پیشنهاد شده است [5، 10]، که با وجود سرعت نسبتا مناسب، تنها قادرند بخشی از پارامترهای سیناپس را تنظیم نمایند. از روش الگوریتم ژنتیک نیز برای تعلیم شبکه عصبی مبتنی بر سیناپس پویا استفاده شده است که اغلب بسیار کند و وقت گیر هستند [10]. روش تعلیم دیگری که پیشنهاد شده، بر مبنای بهینه‌سازی غیرخطی ناحیه اطمینان است [11]. رویکرد دیگر در تعلیم شبکه­های عصبی مبتنی بر سیناپس پویا استفاده از روش‌های تعلیم مبتنی بر گرادیان است. در مدل ارائه شده در [12] با انتخاب یک تابع خطای هموار از روش‌های تعلیم مبتنی بر گرادیان برای تعلیم شبکه با وزن پویا استفاده شده است.

پیشرفت‌های جدید در دینامیک غیر خطی و نظریه آشوب نشان داده است که امواج EEG تنها نشان دهنده فرایندهای تصادفی نیستند، بلکه دارای خاصیت آشوب‏گونه مشخص هستند [13، 14],. رفتار آشوب‏گونه در نورون‌ها به شکل میکروسکوپیک نیز مشاهده شده است. برای مثال غشای آکسون اسکوئید[2] در پاسخ به تحریک سینوسی، متناسب با فرکانس و قدرت تحریک، پاسخ پریودیک یا آشوب‏گونه از خود نشان می‌دهد [15]. منشا فعالیت نورون‌ها تغییر هدایت پروتئین‌های خاص موجود در غشا سلول‌هاست که کانال نامیده می‌شوند. این کانال‌ها به یون‌ها اجازه حرکت از فضای داخل سلولی به فضای بیرون سلولی و بالعکس می‌دهند. در روش‌های جدید ثبت، رفتار یک کانال به تنهایی مشاهده‌ و مشخص شده است که باز و بسته شدن کانال حالت غیرمنظم دارد. گروهی از محققان معتقد به تصادفی بودن عملکرد آنها هستند و گروهی معتقدند که مدل‏های مبتنی بر نظریه آشوب می‌توانند این خاصیت کانال‌ها را مدل نمایند [15].

پینتو و همکاران به مطالعه تک نورونی از غده‏ دهانی (STG) خرچنگ خاردار کالیفرنیایی پرداخته‌اند [16]. در این مطالعه، مدلی برای فعالیت پتانسیل عمل تک نورون ارائه شده است که قادر به مدل کردن رفتار آشوبی نورون طبیعی است. دسته دیگری از محققان به دنبال ایجاد مدل‏هایی از شبکه عصبی آشوب‏گونه هستند که ضمن همخوانی با مدل‏های شبکه‌های عصبی مصنوعی کلاسیک، توان ایجاد رفتار آشوب‏گونه را دارا باشند. دراین دسته از مدل‏ها، تنها رفتار یک نورون یا دسته کوچکی از نورون‌های مصنوعی بررسی شده است و به تحلیل روابط بین متغیرها و پارامترهای شبکه و تعیین محدوده‌هایی که نورون رفتار آشوب‏گونه دارد، پرداخته‌اند. در این مدل‏ها نیز از توان پردازشی مدل سخنی به میان نیامده است. در مرجع [17] دینامیک یک شبکه ‏ها‏پفیلد سه نورونی بااستفاده از نمای لیاپانوف با روش عددی مطالعه شده است. رفتار این شبکه به ازای مقادیر مختلف پارامتر‏ها‏ی آن بررسی و محدوده‌ای که باعث رفتار آشوبی می‏شود، تعیین شده است. در مرجع [18] نیز مدلی از نورون بازگشتی ارائه شده است که قادر به ایجاد رفتار آشوب‏گونه است. دسته دیگری از مدل‏های آشوب‏گونه وجود دارند که ضمن دارا بودن خاصیت آشوب‏گونه دارای توان پردازشی نیز هستند. در مرجع [19] شبکه عصبی آشوب‏گونه­ای ارائه شده است که قادر به ذخیره سازی و بازیابی تصاویر چند سطحی است. در مراجع [20، 21، 22]از المان‌های بازگشتی (تابع لجستیک) برای ذخیره و بازیابی رشته‌های دودوئی استفاده شده است.

در مرجع [1] شبکه عصبی آشوب‏گونه‌ای ارائه شده است که قادر به ذخیره سازی و بازیابی تصاویر چند سطحی است. در این مرجع از یک شبکه بازگشتی به عنوان شبکه پایه استفاده شده است. در این شبکه آشوب گونه، در هر مرحله خروجی توسط تابع های لجستیک که در مد آشوب فعالیت می کنند، اصلاح شده و خروجی اصلاح شده توسط شبکه عصبی بازگشتی پایه ارزیابی می‌گردد و نحوه اصلاحات مراحل بعدی تعیین می شود. این مراحل آنقدر تکرار می شوند تا به پاسخ مطلوب برسند. شبکه آشوبی طراحی شده در این مرجع از توان پردازشی بالاتری نسبت به شبکه پایه خود برخوردار است. از آنجایی که شبکه‌های جلوسوی چند لایه از شبکه های عصبی قدیمی هستند و تحقیقات طولانی بر روی این شبکه‌ها به ایجاد شبکه‌های جلوسوی چند لایه با توانایی پردازشی بالا منجر شده است، بنابراین، اعمال ویژگی آشوب به این شبکه‌ها که بر گرفته از ویژگی شبکه های شبکه­های عصبی طبیعی است، می تواند به تولد شبکه‌های جلوسوی آشوب گونه ای منجر شود که از قدرت پردازش بالایی برخوردارند. در این مقاله روشی برای آشوبی کردن شبکه جلوسوی چند لایه ارائه شده است.

شبکه‏ها‏ی عصبی جلو سو، دسته وسیعی از شبکه‏ها‏ی عصبی مصنوعی را تشکیل می‏دهند. این شبکه‏ها‏ از توان پردازشی خوبی برخوردارند و در کابردهای پردازشی فراوانی، به خصوص در باز شناسی الگو استفاده می‌شوند. با اینکه شبکه‏های عصبی جلو سو از قدمت نسبتا بالایی برخوردارند، ولی به علت توان پردازشی بالا همچنان مورد توجه محققان هستند. برای مثال، در مرجع [23] از این نوع شبکه‏ها‏ برای بازشناسی الگو استفاده شده است. با اینکه شواهد زیادی بر دینامیکی بودن وزن‏ها‏ی شبکه عصبی طبیعی ارائه شده، ولی این نوع شبکه‏ها‏ی عصبی جلو سو همچنان به شکل ایستا عمل می‏کنند. در این مقاله روشی برای پویا سازی وزن‏ها‏ی شبکه‏ عصبی جلو سوی کلاسیک که ایستا هستند، ارائه شده است.

بخش بعدی به بررسی ساختار و نحوه عملکرد شبکه عصبی جلو سوی ایستا، به خصوص هنگام تعلیم پرداخته شده است، سپس تابع لجستیک و توانایی آن در ایجاد آرایش‏ها‏ی مختلف سری زمانی آشوب‏گونه ارائه شده است. در ادامه، با استفاده از شبکه عصبی جلو سوی ایستا و توابع لجستیک با توانایی ایجاد سری زمانی آشوب‏گونه، شبکه عصبی آشوب‏گونه طراحی شده در این مقاله معرفی می‌گردد. توضیحات در مورد پایگاه داده استفاده شده و نتایج عددی در بخش‏ها‏ی بعدی ذکر می‏گردد و در قسمت آخر نیز جمع بندی و پیشنهادها ارائه خواهد شد.

 

1- شبکه عصبی جلو سوی ایستا

فرضکنیدکهمجموعهداده‌هایتعلیمو برچسب‏ها‏یخروجیمتناظرباآنهادردستباشند. دراینصورت،هدفازتعلیمشبکهپیداکردنوزن‏ها‏یشبکهاست؛بهطوریکهبتوانند،داده‏ها‏یورودیرابهبهترینوجهیبهخروجیمطلوب) برچسب‏ها‏یمتناظر( نگاشتکنند.درروشپس‌انتشارخطا،برایتعلیمشبکهیکتابعمعیار مشخصفرضمی‏شودکهمعمولابهترینانتخاببرای اینتابعمجموعمربعاتاختلافمیانخروجی مطلوبوخروجیواقعیشبکهاست. وزن‏ها‏ در جهت کمینه کردن خطا اصلاح می‏شوند. و در نهایت، شبکه‏ای با وزن‏ها‏ی ثابت به دست می‏آید. با اعمال هر ورودی آزمون به این شبکه، یک خروجی ثابت داریم.

 

1-1- جداسازی خطی پرسپترون

ساده ترین شبکه‏ای که می‏تواند داده‏ها‏ را به دو دسته تقسیم کند،  یک نورون باینری است که پرسپترون نامیده می‏شود. این ساختار در شکل 1 نشان داده شده است. این مدل توسط روزنبلت در سال 1958 معرفی شد. خروجی ساختار پرسپترون به جمع وزنی کامپوننت‌های ورودی ( ) بستگی دارد. وزن‌ها ( ) متعلق به اعداد حقیقی است. این جمع وزن دار پتانسیل نامیده می‏شود [24].

 

 

 

شکل (1): ساختار یک پرسپترون [24].

 

1-2- بررسی طبقه بندی کننده پرسپترون از نظر هندسی

در این بخش چگونگی عملکرد یک طبقه بندی کننده پرسپترون توضیح داده می‌شود و در قسمت‌های بعدی از این مفاهیم برای تحلیل عملکرد شبکه عصبی جلوسو آشوب‏گونه استفاده می‌شود.

ابر صفحه جداکننده: برای ورودی  و وزن  نقاطی که در معادله زیر صدق می‌کنند، تشکیل ابرصفحه می‏دهند.

 

 

این ابرصفحه می‌تواند فضای ورودی را به دو طبقه تقسیم کند. در فضای ورودی اگر  باشد، آنگاه خروجی نورون (1+) شده، این ورودی متعلق به طبقه 1+ است و بالعکس، اگر  باشد، این ورودی متعلق به طبقه 1- است. بنابراین، یک نورون می‏تواند برای طبقه‌بندی ورودی‏ها‏ به دو طبقه استفاده شود.

چگونگی جداسازی ورودی‏ها‏ با استفاده از نورون پرسپترون (جدا کننده‏ها‏ی خطی)

رابطه مربوط به ابرصفحه جداکننده را می­توان به صورت زیر در نظرگرفت:

(1)

 

 

در رابطه (1) =1در نظر گرفته شده است. این معادله یک ابرصفحه در فضای   بعدی ( ) است. فرض می­کنیم که ورودی دو بعدی باشد ( ). در این صورت برای نقطه  داریم:

(2)

 

 

معادله (2) یک خط در فضای دو بعدی ورودی ( ، ) است. با فرض  ،  و  می‌توان نمودار خط (2) را در فضای  و  به دست آورد:

 

 

 

نمایش این خط در شکل (2) نشان داده شده است. می‏توان نشان داد که بردار وزن‏ها‏ بر ابر صفحه جدا کننده عمود است [25]. تغییر بردار وزن‏ها‏ باعث تغییر موقعیت ابرصفحه جدا کننده در فضای ورودی می‏گردد. پس با انتخاب مناسب  می‏توان از این نورون برای طبقه بندی ورودی‏ها‏ به دو طبقه استفاده کرد. این نوع طبقه بندی برای داده‏ها‏یی که به صورت خطی قابل جداسازی هستند یا به عبارت دیگر، بتوان آنها را با یک خط جدا نمود، مناسب هستند.

 

1-3- بررسی تعلیم یک نورون

فرض کنید که یک نمونه ورودی ( ) داده شده و قرار است این ورودی به نورون تعلیم داده شود؛ یعنی می‏خواهیم وزن‌های نورون را به دست آوریم. درفضای وزن‌ها ( ‏ها‏) معادله رویه تصمیم به شکل زیرخواهد بود.

(3)

 

بردار  ورودی مورد نظر به همراه یک مؤلفه اضافی  (سطح آستانه) است. به عبارت دیگر  ،  بعدی است که دارای یک مقدار آستانه است.

 

شکل (2): نمودار خط جدا کننده  در فضای دو بعدی ورودی ( ، ) با فرض  ،  و . بردار وزن‌ها  بر ابرصفحه (خط) جداکننده عمود است

 

با ثابت در نظرگرفتن ورودی ، رابطه (3) نمودار یک ابرصفحه در فضای وزن‏هاست که بردار ورودی برآن عمود است. فرض کنید که  ورودی اول و  ورودی دوم و  ورودی سوم باشد. دراین صورت   نمایش (ابر) صفحه‏ای است در فضای وزن‏ها‏ که بر بردار ورودی  عمود و از مبدا مختصات می‏گذرد (شکل (3)). با توجه به شکل (3) در یک طرف خط   داریم 0 و در طرف دیگر  است. به همین ترتیب  صفحه‏ی دیگری درفضای وزن‌هاست که از مبدا مختصات می‏گذرد و بر بردار ورودی  عمود است.

فرض کنید که خروجی‏ها‏ی مطلوب به ورود‌‌‌ی‌های  ،   و  عبارتند از: 1، 0 و1. با توجه به این خروجی‏ها‏ ناحیه مطلوبی که وزن‌ها باید در آن قرار بگیرند، مکانی از صفحه فضای وزن‌هاست که در آن ،  و  باشد، که این نواحی همراه با صفحه‏ها‏ی تصمیم مربوط به هر ورودی در شکل 3 نشان داده شده است. باید  را در ناحیه‌ای که این سه شرط را برآورده می‌سازد، انتخاب نمود. این ناحیه در شکل (3) با  نشان داده شده است.

 

شکل (3): مکانی از فضای وزن‌ها که در آن ،  و  باشد با  نشان داده شده است.

 

تعلیم نورون؛ یعنی این که چگونه از یک  اولیه به  مطلوب برسیم. بنا براین، با توجه به شکل (3) باید با شروع از یک وزن اولیه به سمت ناحیه اشتراک  داده‏ها‏ی تعلیم در فضای تعلیم حرکت کرد. همان طوری که در شکل (3) مشاهده می‏شود، این ناحیه یک فضای نامتناهی است بنابراین، بی‌نهایت وزن می‌توان برای نورون یافت که داده‏ها‏ی تعلیم را برآورده نماید. به عبارت دیگر، وزن‏ها‏ی مطلوب دارای مقدار یکتا نیستند و می‏توانند مجموعه‏ای از مقادیر را دارا باشند، اگر این نواحی ناحیه اشتراک نداشته باشند بدان معنی است که با این آرایش نورون نمی‌توان این داده‏ها‏ را به نورون تعلیم داد.

در این مقاله از شبکه عصبی کلاسیک ارائه شده در مرجع [23] به عنوان شبکه عصبی جلوسوی پایه استفاده شده است. این شبکه عصبی جلوسو دارای وزن‏ها‏ی ثابت است و بر اساس آنالیز مؤلفه‏ها‏ی اساسی عمل می‏کند. شبکه‌ای با ساختار 10، 750، 200، 200، 256 که داده ورودی ( تصویر ارقام دست نوشتار انگلیسی) را به برچسب آنها نسبت می‏دهد، با استفاده از روش ارائه شده در [23] تعلیم داده می‏شود و وزن‏ها‏ی آن که اعداد ثابتی هستند به دست می‏آیند. قصد داریم با تغییر آشوب گونه وزن‌ها در محدوده مناسب مشابه آنچه در شکل 3 نشان داده شده است، روشی را ارائه نماییم تا الگوهایی که خیلی نزدیک به مرز تصمیم بوده و ممکن است در برخی شرایط در کلاس دیگری اعلام شوند، تشخیص داده شوند و پس از تشخیص آنها را با عنوان"وضعیت طبقه بندی نامشخص" اعلام نماید. چگونگی تبدیل این شبکه به شبکه عصبی با وزن‏ها‏ی آشوبی در بخش‏ها‏ی بعدی ارائه شده است.

 

2- تابع لجستیک، مولد آرایش‏ها‏ی مختلف

معمولا با انتخاب مناسب پارامترهای سیستم غیرخطی می­توان آنها را به رفتار آشوب‏گونه مجبور نمود. سیستم آشوب‏گونه با شروع از یک نقطه از فضای حالت ناحیه مشخصی را جستجو می‌کند، بدون اینکه از نقطه‌ای دو بار عبور کند. محدوده این ناحیه با استفاده از پارامترهای سیستم تعیین می‏شود. از ویژگی‏ها‏ی دیگر سیستم‏ها‏ی آشوب‏گونه وابستگی چگونگی جستجوی آنها در محدوده مشخص به شرایط اولیه است. در این مقاله از این ویژگی‌های سیستم آشوب‏گونه برای یافتن وزن‌های آشوب‏گونه مطلوب استفاده شده است.

تابع لجستیک یک تابع غیر‌خطی و دارای یک پارامتر کنترل است. در این تابع در هر لحظه خروجی لحظه بعد از رابطه‏ی زیر به دست می‏آید:

(4)

 

که در آن  حالت سیستم در تکرار  و  پارامتر دوشاخه شدگی آن است. دینامیک این تابع به شدت به پارامتر  وابسته است؛ به طوری که با تغییر  این تابع از خود انواع رفتارها (از پریودیک تا آشوب‏گونه) را نشان می‏دهد[26] (شکل (4)). با قرار دادن  تابع لجستیک از خود رفتار آشوب‏گونه نشان می‌دهد. در مرجع [1] رابطه‌ای برای تابع لجستیک به صورت (5) تعریف شده است که در آن با اضافه کردن یک پارامتر جدید، ، به تابع لجستیک یک تابع جدید تعریف شده است  که ناحیه  را به صورت آشوب‌گونه جستجو می‌کند (با فرض ). با تغییر  می‌توان ناحیه جستجوی تابع را در حول مبدأ تغییر داد. شکل (5) نمودار این تابع را به ازای دو مقدار مختلف  و  نشان می‌دهد که به ترتیب دو ناحیه  و  را به ازای  به صورت آشوب­گونه جستجو می­کند. در این مقاله از رابطه (5) برای تغییر محدوده جستجوی شبکه آشوب گونه جهت یافتن محدوده مناسب استفاده می شود.

 

(5)

 

 

شکل (4):  نمودار دوشاخه شدگی تابع لجستیک به ازای تغییر پارامتر A

 

شکل (5): ناحیه جستجوی تابع (5) به ازای دو مقدار مختلف 1)  باعث جستجو در ناحیه  می‌شود. 2)  باعث جستجو در ناحیه  می‌شود [1].

 

شکل (6) نمودار زمانی پنجاه نمونه از  به ازای دو شرط اولیه مختلف را نشان می‏دهد. در این شکل‌ها  در نظر گرفته شده است. به ازای  که سری زمانی پایه است، تمام مقادیر  به دست آمده از تابع لجستیک (5) رسم شده است. به ازای  تنها نمونه‏ها‏ی زوج سری زمانی پایه، یا های به دست آمده از رابطه (6)رسم شده‏اند.

(6)

 

 

که از رابطه (5) محاسبه می‏شود. به ازای  نمونه‏ها‏ی مضرب 3 رسم شده است. همان طور که مشاهده می‏شود، با تغییر  وضعیت این سیگنال‏ها‏ نسبت به هم تغییر می‏کند (بدون اینکه شرط اولیه را تغییر دهیم). علت این است که پارامتر  طوری قرار داده شده که تابع لجستیک دارای دینامیک آشوب‏گونه باشد. این تغییر وضعیت‏ها‏ هیچ گاه تکرار نمی‏شوند، زیرا تابع لجستیک در وضعیت آشوب قرار دارد. همان طور که در قسمت بعد بیان خواهد شد، این خاصیت برای یافتن حالتی از آرایش وزن‏ها‏ که کمترین خطا را داشته باشند، استفاده می‏شود، به این صورت که با ایجاد آرایش­های مختلف(از طریق تغییر )، آرایشی که کمترین خطا را در بازشناسی داده‏ها‏ دارد، پیدا می‌شود. به عبارت دیگر، با استفاده از این روش وزن‏ها‏ی پویای شبکه را طوری همزمان می‏کنیم که خطای شبکه نهایی کمینه باشد.

3- شبکه عصبی جلوسوی آشوب‏گونه

با اینکه روش­های رایج تعلیم شبکه‌های عصبی جلوسو وزن‏ها‏ را بر اساس محاسبات دقیق ریاضی و معین به دست می‏آورد، اما جوابی که برای وزن‏ها‏ به دست می‏آید یکتا نبوده، به شدت به شرایط اولیه وابسته است؛ به طوری که با انتخاب شرایط اولیه مختلف، وزن‏ها‏ی مختلفی برای شبکه به دست می‏آید. بنابراین، برای یک مجموعه تعلیم می‏توان شبکه‏ها‏ی مختلف با ساختار مشابه به دست آورد. به عبارت دیگر، وزن‏ها‏ به جای اینکه یک مقدار ثابت داشته باشند می‏توانند مجموعه‏ای از مقادیر مختلف را بگیرند؛ به طوری که این وزن‏ها‏ نسبت به هم طبق قاعده خاصی تغییر می‏کنند. همان طوری که در قسمت‏ها‏ی قبل توضیح داده شد در تعلیم شبکه پرسپترون وزن‏ها‏ی مطلوب در یک ناحیه از فضای وزن‏ها‏ هستند (ناحیه I در شکل (3)). که این ناحیه را داده‏ها‏ی تعلیم و ساختار شبکه تعیین می‏کنند. محدود شدن به یک مجموعه وزن ثابت باعث محدود کردن توانایی شبکه در بازشناسی داده‏ها‏، به خصوص داده‏ها‏ی جدید می‏شود. در این مقاله ناحیه وزن‏ها‏ی مطلوب یک شبکه به طور تقریبی به دست می‌آید و اثر تغییرات وزن‏ها‏ در این ناحیه مطلوب بر روی قدرت بازشناسی یک شبکه جلوسو بررسی می‌گردد. برای این منظور، ابتدا شبکه عصبی جلوسوی معرفی شده در بخش‏ها‏ی قبلی آشوبی می‌شود. سپس با جستجوی آشوب‏گونه آرایش‏ها‏ی مختلف وزن‏ها،‏ آن آرایشی که بهترین صحت باز شناسی را دارد، پیدا می‌شود. در این مقاله فقط وزن‏ها‏ی لایه اول آشوبی می‏شوند.

برای آشوبی کردن وزن‏ها‏ی یک شبکه جلوسو، مجموعه‌ای از وزن‏ها‏ی آن را در نظر بگیرید. همان طوری که در شکل (3) نشان داده شده است، این وزن‏ها‏ یکتا نبوده، می‏توانند متغیر باشند. یک دسته از این وزن‏ها‏ را به عنوان وزن پایه انتخاب می‏کنیم. به منظور طراحی شبکه عصبی پویا (آشوب‏گونه) برای هر وزنی که قرار است آشوبی شود یک تابع لجستیک با رابطه (5) در نظر می‏گیریم که در محدوده  تغییر می‏کند. سپس خروجی این تابع را در هر لحظه به وزن پایه اضافه می‏کنیم. به این ترتیب وزن‏ها‏ در هر لحظه به صورت آشوب‏گونه تغییر می‏کنند. حال اگر یک الگو به عنوان ورودی به این شبکه اعمال کنیم، برخلاف شبکه ایستا، هر وزن مقادیری مختلف دارد و در نتیجه، تعداد زیادی الگوی خروجی داریم که هر یک حاوی اطلاعات مفیدی در مورد خروجی اصلی هستند. بدیهی است که این خروجی‌ها دارای خطا هستند. نحوه تغییرات وزن‏ها‏ باید طوری انتخاب شود که خطای خروجی حداقل گردد؛ یعنی باید تغییرات وزن‏ها‏ طوری با هم همزمان شوند که خطای خروجی ایجاد شده مینیمم باشد. برای یافتن آرایشی از مقادیر وزن‏ها‏ که خطا را کمینه کند، آرایش‌های مختلفی از وزن‌های آشوب گونه را تولید کرده، خطای شبکه را برای هر آرایش به دست می‏آوریم. برای تغییر آرایش سری زمانی به دست آمده از رابطه (5) می‌توان از تغییر شرط اولیه یا تغییر T استفاده نمود. در این مقاله برای تغییر آرایش وزن‏ها‏ همان طوری که در شکل (6) نشان داده شده است، از تغییر  استفاده شده است. فعالیت هر تابع از شرط اولیه ثابت بسیار کوچک که متناسب با وزن پایه متناظر ( ) است، شروع می شود. بنابراین، برای یافتن وزن­های آشوبی اولا باید محدوده تغییرات این وزن‌ها را تعیین کرد، که این کار از طریق تعیین مقدار مناسب  انجام می‌شود. دوم اینکه T را طوری تعیین کنیم که خطای شبکه کمینه شود.

با مشخص شدن مقادیر T و  در رابطه (5) و با شروع از شرط اولیه ثابت  یک دنباله با مقادیر مشخص برای  که متناظر با هر وزن است، به دست می‌آید که با دیگر وزن‌ها همزمان است. به عبارت دیگر، این دنباله دارای ویژگی کاملا معین است. در حالی که اگر از یک متغییر تصادفی برای  استفاده می شد در هر بازشناسی با سری جدیدی مواجه بودیم که با سری های تصادفی دیگر نمی توانست همزمان باشد. بنابراین، با ثابت کردن پارامترهای یک تابع آشوب و با شروع از یک شرط اولیه ثابت، یک سری زمانی داریم که کاملا معین است.

برای یافتن  مطلوب نیز از داده‌های تعلیم استفاده می‌شود. برای این منظور، در صد صحت بازشناسی شبکه جلو سوی تعلیم داده شده پایه بر روی دادگان تعلیم به دست می‌آید که معمولا 100% است. در رابطه (5) با شروع  از یک مقدار مینیمم تعدادی از وزن­های شبکه را آشوبی می‌کنیم؛ به طوری که درصد صحت بازشناسی شبکه بر روی دادگان تعلیم همچنان 100% باقی بماند. مقدار  (دامنه تغییرات آشوب گونه وزن ها) آنقدر افزایش داده می‌شود تا درصد صحت باز شناسی شبکه از 100% کمتر شود. در این صورت، حداکثر مقدار  که به ازای آن درصد صحت بازشناسی شبکه جلوسو همچنان 100% است، به عنوان  مطلوب در نظر گرفته می‌شود.

برای یافتن T مطلوب با شروع از T=1 و افزایش آن تا 100، برای هر T شبکه جلوسویی داریم که وزن‏ها‏ی آن به صورت آشوب‏گونه تغییر می‏کند. این شبکه برای هر تصویر ورودی بی شمار خروجی ایجاد می‏کند. صد خروجی اول مربوط به هر T را درنظر می­گیریم. به روش مربعات خطا، خطای هر یک از این خروجی‏ها‏ را نسبت به خروجی اصلی (که عضو داده‏ها‏ی تعلیم است) به دست آورده، میانگین گیری می‏کنیم.  را تا 100 افزایش داده، خطای متناظر با هر T را محاسبه می‌کنیم. سپس T متناظر با خطای کمینه را به عنوان T مطلوب در نظر می­گیریم. به عبارت دیگر، در  مطلوب وزن‏ها‏ طوری با هم همزمان می­شوند که مقدار خطا کمینه می‌شود.

 

4- پایگاه داده‏ها‏

برای بررسی کارایی شبکه پیشنهادی، از آن برای بازشناسی ارقام دست نوشتار انگلیسی موجود در پایگاه داده‏ها‏ی USPS  استفاده شد. این پایگاه داده حاوی 4649 داده تعلیم و 4649 داده تست است. داده‏ها‏ی تعلیم بردارهای به دست آمده از تصاویر 16×16 ارقام دست نوشتار انگلیسی هستند. تصویر ارقام دارای سطوح خاکستری هستند دامنه تغیرات هر نقطه تصویر در بازه [1، 1-] نرمال سازی شده است[27] .

 

5- نتایج شبیه سازی

4649 داده تست پایگاه داده USPS با روش ارائه شده در مرجع [23] به شبکه­ای با ساختار 10، 750، 200، 200، 256 که داده ورودی (تصویر ارقام دست نوشتار با 256 نقطه­) را به برچسب آن نسبت می‏دهد، تعلیم داده شدند ماتریس وزن های لایه اول یک ماتریس با 257 ردیف (که یک ردیف مربوط به بایاس است) و 200 ستون است.

برای آشوبی کردن وزن‌های ابتدا محدوده تغییرات وزن‌ها (  مطلوب) تعیین شد. در این مقاله 30 ردیف اول از ماتریس وزن لایه اول آشوبی شده‌اند. برای به دست آوردن  مطلوب،  به تدریج از 12/0 تا 28/0 با گام های 002/0 افزایش داده شد و درصد صحت بازشناسی شبکه بر روی داده های تعلیم برای هر یک از این ‌ها محاسبه گردید. نمودار درصد بازشناسی شبکه آشوب گونه به ازای  های مختلف در شکل (7) نشان داده شده است. به ازای 2/0=  درصد صحت بازشناسی شبکه با دقت دو رقم اعشار همچنان 100% است. این مقدار  را به عنوان مقدار مطلوب در نظر می­گیریم.

 برای همزمان کردن وزن‏ها و یافتن T مطلوب‏ به منظور رسیدن به خطای کمینه، T از 1 تا 100 افزایش داده می شود و خطای شبکه آشوب­گونه متناظر با هر یک از این T‌ها محاسبه می­گردد. سپس T متناظر با خطای مینیمم به عنوان T مطلوب در نظر گرفته می­شود. شکل (8) نمودار خطای بازشناسی شبکه آشوب گونه را برای T های مختلف نشان می دهد. خطای بازشناسی شبکه آشوب گونه به ازای 12=T کمینه می شود. مقدار خطای کمینه برابر  است. از روش متوسط مربعات خطا برای محاسبه خطا استفاده شده است.

پس از به دست آوردن  و  مطلوب  شبکه آشوب‏گونه ایجاد شده مورد آزمون قرار گرفت و به ازای هر ورودی صد خروجی اول شبکه آشوب‏گونه در نظر گرفته شد. با بررسی نتایج به دست آمده، مشخص شد برای داده‏ها‏یی که به‌وسیله شبکه ایستا درست تشخیص داده شده‏اند، اکثر 100 خروجی به دست آمده از شبکه آشوب‏گونه نیز این داده را در همان طبقه‏ای که شبکه ایستا تشخیص داده است، قرار می‏دهد، اما داده‏ها‏یی که توسط شبکه ایستا غلط تشخیص داده شده‏اند، توسط شبکه آشوب‏گونه قابل تشخیص نبوده، این شبکه این داده‌ها را جزو طبقات مختلف، از جمله طبقه اصلی مربوط به داده ورودی قرار می‏دهد. بنابراین، از این ویژگی می توان برای تشخیص بازشناسی‌های اشتباه شبکه ایستا استفاده کرد.

خروجی‏های شبکه عصبی جلوسوی آشوب‏گونه به یک داده‏ آزمون (عدد 3 دست نوشتار) که توسط شبکه ایستا درست تشخیص داده شده است، در شکل (9-1) نمایش داده شده است. چنانکه مشاهده می‏شود، تمامی صد خروجی شبکه آشوب‏گونه این داده را به طبقه 3 اختصاص می‏دهند.  

 

 

0

 

5

 

10

 

15

 

20

 

25

 

30

 

35

 

40

 

45

 

50

 

 

 

0

 

 

 

T=2

 

Tk

 

x

 

0

 

5

 

15

10

 

15

10

 

20

 

25

 

35

 

40

 

45

 

50

 

 

 

0

 

 

 

T=1

 

x

 

Tk

 

0

 

5

 

10

 

15

 

20

 

25

 

30

 

35

 

40

 

45

 

50

 

 

 

0

 

 

 

T=3

 

Tk

 

x

 

o x(1)=0.4

 

> x(1)=-0.49

 

0.5

 

-0.5

 

0.5

 

0.5

 

-0.5

 

-0.5

شکل (6): نمودار زمانی مربوط به تابع لجستیک به ازای دو شرط اولیه مختلف و

 

 

 

 

شکل (7) نمودار درصد صحت بازشناسی شبکه عصبی آشوب گونه بر روی داده های تعلیم به ازای  های مختلف.

 

 

T

 

 

شکل (8): نمودار خطای بازشناسی شبکه آشوب گونه به ازای T‌های مختلف. خطای بازشناسی شبکه آشوب گونه به ازای 12=T کمینه می‌شود. مقدار خطای کمینه برابر  است. از روش متوسط مربعات خطا برای محاسبه خطا استفاده شده است.

 


شکل (9): فراوانی خروجی شبکه آشوب‏گونه (1) وقتی که شبکه ایستا داده تست را درست تشخیص داده است (2) وقتی که شبکه ایستا داده تست را اشتباه تشخیص داده است.

 

 

 

شکل (9-2) خروجی­های شبکه جلوسوی­آشوب­گونه را در حالتی که داده تست ورودی 7 است و شبکه ایستا آن را به اشتباه 1 تشخیص داده است، نشان می­دهد. همان طوری که مشاهده می‏شود، خروجی‏ها‏ی شبکه آشوب‏گونه این ورودی را جزو طبقات 1، 3 و 9 قرار داده‌اند. به عبارت دیگر، شبکه جلو سوی آشوب‏گونه سردر گم است. از این خاصیت استفاده شده و معیاری تعیین شد که قادر است داده‏ها‏یی را که توسط شبکه ایستا اشتباه تشخیص داده شده‏اند، شناسایی و معرفی نماید. معیار اعمال شده به این صورت بود که اگر تعداد طبقاتی که صد خروجی اول شبکه آشوب‏گونه به آنها نسبت داده می‏شوند (برای یک ورودی تست) بیشتر از دو طبقه باشد، شبکه جلوی سوی ایستای پایه این ورودی را اشتباه تشخیص داده است. همچنین، اگر ماکزیمم فراوانی طبقات کمتر از 80 باشد نیز شبکه جلوسوی پایه در تشخیص خود اشتباه کرده است. برای تعیین محدوده تغییرات هر وزن از داده‏ها‏ی تعلیم استفاده شد. تغییرات را از یک محدوده کوچک شروع و کم کم این محدوده را زیاد نموده، این افزایش تا جایی ادامه می­یابد که شبکه عصبی جلوسوی پایه (ایستا) در تشخیص داده‏ها‏ی تعلیم اشتباه کند.

صحت بازشناسی شبکه جلوسوی ایستا بر روی داده‏ها‏ی تعلیم 100% و بر روی 4649 داده تست 9/96% شد؛ یعنی این شبکه 143 داده تست را اشتباه تشخیص می‏دهد. با دینامیکی کردن این شبکه در محدوده مناسب توانستیم 187 داده را از داده‏ها‏ی تست جدا کنیم که تمامی 143 داده‏ای که توسط شبکه ایستا اشتباه تشخیص داده شده بودند، در این دسته بودند. به این ترتیب، شبکه دینامیکی توانست 100% اشتباهات شبکه جلوسو را تشخیص دهد، اما این شبکه 43 داده دیگر را که توسط شبکه ایستا درست تشخیص داده شده بود، به عنوان ناشناخته معرفی کرد. به این ترتیب 100% داده‏ها‏یی را که تشخیص داده است درست است و حدود 4% داده‏ها‏یی که قبلا درست تشخیص داده شده بودند را به عنوان ناشناخته معرفی کرد. با توجه به نوع مسأله و میزان مهم بودن تشخیص درست، می‏توان معیارهای تصمیم گیری شبکه آشوب‏گونه را طوری تغییر داد تا به نتیجه مطلوب رسید. جدول (1) صحت باز شناسی دو شبکه را مقایسه کرده است.

 

جدول (1): مقایسه نتایج به دست آمده از آزمون شبکه ایستا ارائه شده در [23] و شبکه آشوب‏گونه بر روی 4649 داده آزمون.

خاصیت

شبکه ایستا

شبکه آشوب‏گونه

درصد صحت تشخیص

9/96

100

داده‏ها‏یی که اشتباه طبقه بندی شده‏اند

143

0

داده‏ها‏یی که به درستی طبقه بندی شده‏اند

4506

4462

داده‏ها‏یی که شبکه در مورد آنها اظهار نظر نکرده است

0

187

 

 

 

6- بررسی و تحلیل

یکی از ویژگی‏ها‏ی مهم مغز، خاصیت دینامیکی آن است. در این مقاله سعی شد مدلی از شبکه عصبی آشوب‏گونه ارائه شود که ضمن دارا بودن خاصیت آشوب‌گونه از توان پردازشی بیشتری نسبت به شبکه عصبی پایه برخوردار باشد. بر خلاف شبکه‏ها‏ی کلاسیک که در مورد همه ورودی‏ها‏ یک خروجی قطعی می‏دهند (هرچند که آن خروجی اشتباه باشد)، یک وی‍ژگی قابل توجه مدل ارائه شده، این است که اگر قادر به تشخیص داده‏ای نباشد، اعلام می‏کند. این عملکرد شبکه عصبی آشوب‏گونه به عملکرد مغز بیشتر شبیه است. به عبارت دیگر این شبکه با هوش تر است و می‏داند که جواب برخی از ورودی‏ها‏ را ندارد.

سوالی که اینجا مطرح می‏شود، این است که چرا دینامیکی کردن وزن‏های‏ شبکه عصبی ایستا باعث ایجاد شبکه عصبی آشوب‏گونه با توان پردازشی بیشتر گردید؟ چگونه می‏توان این اتفاق را از نظر قوانین حاکم بر شبکه‏ها‏ی عصبی مصنوعی توجیه نمود؟ برای پاسخ به این سؤال به بررسی عملکرد وزن‏ها‏ در  شبکه عصبی مصنوعی می‏پردازیم.

شبکه عصبی به عنوان یک طبقه بندی کننده، فضای ورودی را به نواحی تصمیم گیری تفکیک می‏کند. سرحد هر ناحیه‏ تصمیم گیری را، مرز تصمیم گیری[iii] می‏نامند. گاهی اوقات تجسم حدود و نواحی تصمیم گیری راحت است، ولی همواره ممکن نیست.

نورون پرسپترون شکل (1) با تابع پله‏ای به عنوان تابع عملکردی نورون و  را در نظر بگیرید. بنابراین فضای ورودی که در اینجا یک صفحه است، توسط مرز تصمیم گیری که یک خط است، به دو بخش تقسیم می‏شود (شکل 2). با تعمیم مطالب فوق، پی می‏بریم که معادله مرز تصمیم گیری وقتی ورودی‏ها‏، یک فضای N بعدی را می‏سازند، یک ابر صفحه‏N-1 بعدی خواهد بود که در یک طرف آنy  (خروجی نورون) برابر صفر و در طرف دیگر آن y برابر یک خواهد بود. اکنون فرض کنید که بخواهیم سیستمی داشته باشیم که دو گروه الگوهای ‘0’ و ‘X’ را در فضای دو بعدی، چنانکه در شکل (10) نشان داده شده است، از یکدیگر تفکیک نماید. نورون شکل 2 می‏تواند از عهده‏ این کار بر آید، به طوری که اگر یکی از الگوهای ورودی ‘0’ به نورون اعمال شود، مقدار خروجی، 1- و اگر یکی از الگوهای ‘X’ به نورون اعمال شود، مقدار آن 1+ شود. الگوریتم­های یادگیری معمول مانند الگوریتم یادگیری پس انتشار خطا با آغاز از یک دسته وزن تصادفی که به منزله یک خط تصادفی در صفحه شکل (10) است، در جهت یافتن خطی که این داده‏ها‏ را با خطای کمتر جداسازی نماید، حرکت می‏کند. هدف اکثر این الگوریتم­ها تنها یافتن نخستین دسته وزنی است که خطای آن از یک حد آستانه کمتر باشد، اما این خط تنها خط جدا کننده این داده‏ها‏ نیست و لزوما بهینه‌ترین آنها نیز نیست. همان طوری که در شکل( 11) نشان داده شده است برای جدا سازی دو ناحیه ‘0’ و ‘X’ خط‌های مختلفی وجود دارد (L­1، L2 و L3 و...)، اما بهتر آن است که به دنبال خطی باشیم که ضمن اینکه خطا را مینیمم می‌کند، حاشیه اطمینان را نیز افزایش دهد؛ یعنی خطی را انتخاب کنیم که فاصله نمونه‌ها از آن ماکزیمم گردد. فاصله اطمینان نکته‏ای است که در شبکه‏ها‏ی کلاسیک کمتر به آن توجه می‏شود.

 

 

شکل (10): مرز تصمیم گیری برای تفکیک الگوهای 0, X

 

شکل (11): برای جدا سازی دو ناحیه ‘0’ و ‘X’ خط‌های مختلفی وجود دارد (L­1، L2 و L3 و...). خطی که خطا را مینیمم می‌کند، حاشیه اطمینان را افزایش می­دهد.

 

دینامیکی کردن وزن‏ها‏ در یک محدوده مشخص، در واقع به معنی جابه جایی این خط­های جداکننده طبقات است. این کار باعث می‏شود داده‏ها‏یی که در مرز تصمیم قرار دارند؛ با هر بار جابه‌جایی خط تصمیم به طبقات مختلف نسبت داده شوند. معمولا اشتباه­های یک شبکه مربوط به داده­هایی است که در نزدیکی مرز تصمیم قرار دارند. بنابراین، همان گونه که نشان داده شد، دینامیکی کردن وزن‏ها‏ی شبکه در یک محدوده مناسب می تواند به شناسایی این داده‏ها‏ کمک کند.

 

7- نتیجه گیری

تحقیقات جدید، وجود رفتارهای آشوب گونه در عملکرد شبکه­های عصبی طبیعی را اثبات کرده است. در این مقاله با استفاده از تابع لجستیک که دارای توان تنظیم محدوده خروجی است، تعدادی از وزن­های لایه اول یک شبکه جلوسو را به طور هماهنگ با هم طوری آشوب گونه کردیم که خطای شبکه حاصل مینیمم شود. این کار باعث شد تا داده‌هایی که در نزدیک مرز تصمیم‌گیری هستند و احتمال بازشناسی اشتباه آنها وجود دارد، شناسایی و جدا شوند. به این ترتیب، شبکه آشوبی حاصل توانست داده‌های باقیمانده از داده­های تست را با 100% صحت بازشناسی کند. بنابراین، یکی از کاربردهای این شبکه می‌تواند در بازشناسی‌ها باشد که بسیار حساس بوده، به صحت بازشناسی 100% نیاز دارند.

بهبود محدوده تغییر وزن‏ها و استفاده از توابع دیگر (به جای تابع لجستیک) که همخوانی بیشتری با ساختار شبکه، داده‏ها‏ی تعلیم و ... دارند، می‏تواند نتایج را بهبود دهد. با اعمال پردازش‏ها‏ی مناسب بر روی خروجی شبکه آشوب‏گونه (شکل (9)) می‏توان در مورد داده­هایی که تشخیص داده نشده‌اند اظهار نظر دقیق­تری کرد.

یکی از ویژگی‏ها‏ی مهم شبکه آشوبی ارائه شده، این است که یک روش عمومی بوده، قابل اعمال به بسیاری دیگر از شبکه‏ها‏ی عصبی معمولی است. از مشکلات این روش این است که برای هر داده‏ ورودی صد داده خروجی حساب می‏شود، که این باعث طولانی شدن پروسه بازشناسی می‏شود. به عبارت دیگر، مقداری وقت صرف فکر کردن می‏کند! که از این نظر نیز می­توان گفت مانند شبکه های عصبی واقعی عمل می کند. مشکل دیگر این شبکه ‌آشوب­گونه این است که تعدادی از داده­هایی که توسط شبکه پایه درست تشخیص داده شده­اند را نیز به عنوان غیرقابل تشخیص معرفی می­گند، ولی در مقابل این شبکه تمامی خطاهای شبکه پایه را تشخیص می­دهد. با تنظیم مناسب پارامترها و سطح آستانه‌ها می توان به سطح مناسبی از صحت باز شناسی دست یافت.



[1]- Dynamic Synapse Neural Networks

[2]- Squid

[iii]- Decision Boundry

مراجع

[1]          A. Taherkhani, S.A. Seyyedsalehi, A.H. Jafari, “Design of a chaotic neural network for training and retrieval of grayscale and binary patterns”, Neurocomputing, Volume 74, Issue 17, Pages 2824-2833, October 2011.

[2]          P. Stern, “Neuroscience: A Vibrant Connection”, Science, Vol. 298, p. 769, 2002.

[3]          R. S. Zucker, and W. G. Regehr, “Short-term Synaptic Plasticity”, Annu. Rev. Physiol., Vol. 64, pp. 355-405, 2002.

[4]          J. S. Liaw, and T. W. Berger, “Dynamic Synapse: A New Concept of Neural Representation and Computation”, Hippocampus, Vol. 6, pp. 591-600, 1996.

[5]          J. Storck, F. Jäkel, and G. Deco, “Temporal Clustering with Spiking Neurons and Dynamic Synapses: Towards Technological Application”, Neural Networks, Vol. 14, pp. 275-285, 2001.

[6]          J. Storck, F. Jäkel, and G. Deco, “Learning Spatiotemporal Stimuli with Networks of Spiking Neurons and Dynamic Synapses”, Neurocomputing, Vol. 38-40, pp. 935-943, 2001.

[7]          T. Natschläger, W. Maass, and A. Zador, “Efficient Temporal Processing with Biologically Realistic Dynamic Synapses”, Network: Computation in Neural Systems, Vol. 12, pp. 75-87, 2001.

[8]          S. George, A. Dibazar, V. Desai, and T. W. Berger, “Speaker Recognition Using Dynamic Synapse Based Neural Networks with Wavelet Preprocessing”, Proc. IEEE International Joint Conference on Neural Networks (IJCNN), Vol. 2, pp. 1122-1125, 2001.

[9]          S. George, A. Dibazar, V. Desai, and T. W. Berger, “Using Dynamic Synapse Based Neural Networks with Wavelet Preprocessing for Speech Applications”, Proc. IEEE International Joint Conference on Neural Networks (IJCNN), Vol. 1, pp. 666-669, 2003.

[10]          W. Senn, H. Markram, and M. Tsodyks, “An Algorithm for Modifying Neurotransmitter Release Probability Based on Pre- and Postsynaptic Spike Timing”, Neural Computation, Vol. 13, pp. 35-67, 2000.

[11]          H. H. Narnarvar, and T. W. Berger, “Trust Region Nonlinear Optimization Learning Method for Dynamic Synapse Neural Networks”, Proc. IEEE International Joint Conference on Neural Networks (IJCNN), Vol. 4, pp. 2848-2853, 2003.

[12] سهراب صائب طاهری، آیدین فرجی و سید علی سیدصالحی، مقایسه روش‌های مبتنی بر گرادیان به منظور تعلیم شبکه عصبی مصنوعی با سیناپس پویا، سیزدهمین کنفرانس مهندسی پزشکی ایران، تهران، ایران، 1385.

[13]          WALTER J. FREEMAN, “Strange Attractors that Govern Mammalian Brain Dynamics Shown by Trajectories of Electroencephalographic (EEG) Potential”, IEEE Transactions on Circuits and Systems, Vol. 35, No. 7, July, 1988.

[14]          Yao, Y., Freeman, “Model of biological pattern recognition with spatially chaotic dynamics”, Neural Networks, 3(2), 153, 1990.

[15]          Michael A. Arbib, The Handbook of Brain Theory and Neural Networks, second edition, MIT Press, Cambridge, Massachusetts, London, England, 2003.

[16]          R. D. Pinto, P. Varona, A. R. Volkovskii, A. Sz¨ucs, H. D. I. Abarbanel and M. I. Rabinovich, ”Synchronous Behavior of Two Coupled Electronic Neurons ” Phys. Rev. E 62, 2644, 2000.

[17]          Xiao. Yanga, Q. Yuan, “Chaos and transient chaos in simple Hopfield neural networks”, Neurocomputing 69, 232–241, 2005.

[18]          Sang. Kim, Su-Dong, Won. Park, “An adaptive neuro-controller with odified chaotic neural networks”, IEEE International Joint Conference on Neural Networks. IJCNN '01, Washington, D.C., Vol. 1, 509 – 514, 2001. 

[19]          L. Zhao, J. C.G. Ca´ceres, A. P.G. Damiance, H. Szu, “Chaotic dynamics for multi-value content addressable memory”, Neurocomputing 69, 1628–1636, 2006.

[20]          E. Del-Moral-Hernandez, “Neural networks with chaotic recursive nodes: techniques for the design of associative memories, contrast with Hopfield architectures, and extensions for time-dependent inputs”, Neural Networks 16, 675–682, 2003.

[21]          E. Del-Moral-Hernandez, “Non-homogenous neural networks with chaotic recursive nodes: Connectivity and multi-assemblies structures in recursive processing elements architectures”, Neural Networks 18, 532–540, 2005.

[22]          E. Del-Moral-Hernandez, “Chaotic Searches and Stable Spatio-temporal Patterns as a Naturally Emergent Mixture in Networks of Spiking Neural Oscillators with Rich Dynamics”, IEEE International Joint Conference on Neural Networks, Vancouver, BC, Canada, 4506 – 4513, 2006.

[23]          G. E. Hinton and R. R. Salakhutdinov, “Reducing the Dimensionality of Data with Neural Networks”, SCIENCE, Vol. 313, 28 July 2006.

[24]          G. Dreyfus, Neural Networks Methodology and Applications, Springer-Verlag Berlin Heidelberg  Printed in Germany, 2005.

[25]          Sergios Theodoridis, Konstantinos Koutroumbas, pattern recognition, 4th edition, Academic Press is an imprint of Elsevier, Printed in the United States of America, 2009.

[26]          R. C. Hilborn, Chaos and nonlinear dynamics An introduction for scientists and engineers, Oxford University press, Second edition, 2000.

[27]          USPS handwritten digit data:  esampled.zip was gathered at the Center of Excellence in Document Analysis and Recognition (CEDAR) at SUNY Buffalo, as part of a project sponsored by the US Postal Service.

http://www.gaussianprocess.org/gpml/data/