Document Type : Research Article
Authors
1 Dept. of Electrical and Computer Engineering, K.N Toosi University of Technology, Tehran, Iran
2 3 Dept. of Electrical and Computer Engineering, K.N Toosi University of Technology, Tehran, Iran
Abstract
Keywords
سرطان سینه[1]، پس از سرطان ریه[2] دومین عامل مرگ و میر ناشی از سرطان و پس از سرطان پوست[3]، شایع‌ترین سرطان در میان بانوان است ]1[. شناسایی به موقع و زود هنگام سرطان سینه می‌تواند کمک شایانی در جلوگیری از پیشرفت و درمان این بیماری و معضلات ناشی از آن کند. در این بین ماموگرافی متداولترین و تصویربرداری رزونانس مغناطیسی با کنتراست بهبودیافته، حساسترین روش برای غربالگری زنان در معرض خطر بالا[4] است ]2[. از آنجا که تصویربرداری MRI دارای حساسیت و تفکیک‌پذیری بالایی در بافت‌های چگال سینه است، یک روش ارزشمند تشخیصی در مورد سرطان سینه خواهد بود.
در اوایل دهه 90 میلادی، پژوهشگران در مطالعات خود نشان دادند چنانچه بتوانند از یک ساختار هوشمند بر پایه شبکههای عصبی مصنوعی[5] برای شناسایی و طبقه‌بندی ناهنجاری‌ها در تصاویر پزشکی استفاده کنند، نه تنها نرخ بازشناسی بالاتر میرود، بلکه تشخیص‌های [6]FP کمتری نسبت به روش‌های پردازش تصویر صرف در مسائل یکسان، حاصل می‌شود ]3- 5[.
در سیستم‌های CAD بر مبنای شبکههای عصبی متداول برای شناسایی ناهنجاری‌های پزشکی، پس از پیش‌پردازش‌های لازم، در ابتدایی‌ترین گام، پس از انتخاب ناحیه مورد نظر[7]، از تصویر پزشکی با احتمال حضور بیشتر ناهنجاری، ویژگیهای کلیدی از ROIها، استخراج می‌شود. به این گام، مرحله استخراج ویژگی[8] گفته می‌شود. در این مرحله تلاش می‌شود تا مجموعه‌ای از ویژگیهای کلیدی برای تمیز بین کلاس‌های تصویر مد نظر از تصویر اصلی انتخاب شود. در مرحله بعدی، برداری از ویژگیهای یک‌بعدی به ازای هر تصویر به عنوان ورودی و یک خروجی مطلوب بر اساس کلاس همان تصویر به ساختار شبکه عصبی اعمال می‌شوند و در نهایت، شبکه بر اساس فرآیند آموزش خود، کلاس هر تصویر را یاد می‌گیرد. به این نوع از شبکههای عصبی که ورودی آن‌ها بر مبنای ویژگیهای استخراج شده تعریف می‌گردد، شبکههای عصبی ویژگی محور[9] گفته می‌شود ]7[.
نکته‌ای که در اینجا مطرح است، چگونگی تعیین تعداد ویژگی‌ها و میزان اهمیت و تأثیر آن‌ها در قدرت تشخیصی سیستم است. از سویی برخی از ویژگی‌ها به طور ضمنی با یکدیگر همبستگی دارند و می‌توانند نوعی پیچیدگی غیر ضروری در حل مسأله ایجاد کنند (over-fitting). در شبکههای عصبی ویژگی محور آنچه مسلم است، این است که هر گونه کاستی یا افزونگی در مراحل استخراج ویژگی و یا طراحی ساختار شبکه عصبی، به شدت بر روی کارایی سیستم عصبی از لحاظ درستی و حساسیت عملکرد سیستم هوشمند تأثیرگذار است. برای مثال از این دسته از روش‌ها می‌توان به مرجع ]8[ اشاره کرد که در آن از ترکیب سه نوع ویژگی مختلف برای تفکیک خوش‌خیمی و بدخیمی داده‌ها برای رسیدن به بهترین نرخ طبقه‌بندی استفاده شده است. سه نوع ویژگی از داده‌ها معرفی و استفاده شده‌اند که عبارتند از: دسته اول- ویژگیهای شکلی (شامل حجم، سطح ناحیه، فشردگی، میانگین طول شعاعی نرمالیزه شده[10]، کروی بودن، آنتروپی NRL، نسبت NRL و ناهمواری[11])، دسته دوم- ویژگیهای بافتی (انرژی، ماکزیمم احتمال، کنتراست، همگنی[12]، آنتروپی، کورولیشن، مجموع میانگین، مجموع واریانس، تقاضل میانگین، تفاضل واریانس) و دسته سوم- دو ویژگی جنبشی از میزان جذب کنتراست است. این پژوهش توانسته است در نهایت، با ترکیب خاصی از ویژگی‌ها برای طبقه‌بندی تصاویر MR پایگاه داده‌ای خود به حساسیت[13] 86 درصد، خصوصیت[14] 72 درصد، دقت[15] 87 درصد و سطح زیر منحنی[16][17]ROC برابر 86/0 دست یابد.
دسته دیگری از شبکههای عصبی تعریف می‌شوند که ورودی آن‌ها خود تصاویر هستند. بدین معنا که قبل از اعمال تصاویر به شبکه، مرحله استخراج ویژگیهای اسکالر وجود ندارد و تصاویر به طور مستقیم و احتمالاً پس از یک پیش‌پردازش اولیه، به شبکه اعمال می‌شوند. به این دسته از شبکههای عصبی، شبکههای عصبی تصویر محور[18] می‌گوییم]7[.
در سیستم‌های CAD بر مبنای شبکههای عصبی تصویر محور، تکیه‌ی اصلی بر اعمال تصویر ROI به طور مستقیم به عنوان ورودی شبکه عصبی است. حال این شبکه عصبی است که باید بر اساس فیلترهای عصبی (کرنل) آموزش‌پذیر دو بعدی خود، به شکل خودکار و طی فرآیند آموزش شبکه، ویژگیهای کارآمد و اساسی تصاویر را بر مبنای ایجاد تمایز بین کلاس‌های مختلف یاد بگیرد ]9 و 10[.
برای مثال در مرجع ]5[ یک ساختار بسیار ساده از این نوع از شبکههای عصبی با تصویر ورودی 16×16 پیکسلی طراحی و برای طبقه‌بندی بافت توده از بافت عادی سینه در تصاویر ماموگرافی استفاده شده است. نواحی مد نظر[19] در این مقاله 256×256 اختیار شده و به کمک میانگین‌گیری و استخراج ویژگیهای دو بعدی SGLD[20] و [21]GLDS و ساخت تصویر ورودی 16×16 پیکسلی توانسته است در بهترین حالت به AUC برابر 87/0 برای ROC طبقه‌بندی دست یابد.
یکی از بهترین ساختارهای عصبی توسعه یافته بر پایه شبکههای عصبی تصویر محور، که در مدل‌سازی ویژگیهای بینایی مهره‌داران قابلیت و کارآمدی بیشتری از خود به نمایش گذاشته است، ساختار شبکههای عصبی کانولوشن[22] است.
ساختار کنونی شبکههای عصبی کانولوشن، نخستین بار توسط Lecun در سال 1998 میلادی برای شناسایی اسناد مطرح و استفاده شد و بعدها توسط خود Lecun مدل‌های بهبود یافته آن منتشر شد ]10- 12[. هدف از طراحی شبکههای عصبی کانولوشن، مدل‌سازی دقیق از نحوه عملکرد سیستم بینایی انسان و ارتباط آن با ناحیه بینایی مغز است که وظیفه استخراج خودکار ویژگیهای کلیدی، یادگیری تصاویر در یک ساختار عصبی مجتمع و همچنین، حذف افزونگی‌های احتمالی را بر عهده دارد.
هدف از این پژوهش، طراحی، پیاده‌سازی و بهبود ساختارهایی از نوع شبکههای عصبی کانولوشن برای طبقه‌بندی تومورهای خوشخیم و بدخیم در تصاویر MR سینه است. در شکل (1)، مراحل سیستم CAD پیشنهادی در قالب بلوک دیاگرام نمایش داده شده است.
شکل (1): بلوک دیاگرام مراحل سیستم CAD پیشنهادی
داده‌های بهکار رفته در این مقاله، تصاویر MR واقعی اخذ شده در بیمارستان میلاد تهران است. این داده‌ها مربوط به 30 بیمار زن است که 4 مورد آن بدخیم و 26 مورد دیگر خوشخیم هستند.
در این پژوهش از یک سیستم MRI 5/1 تسلای شرکت زیمنس با ماتریس تصویر اصلی 512×512، 340×340[23]FOV=پیکسلی و زمان تصویر سازی 448 ثانیه‌ای برای تصویرسازی از نماهای محوری[24] و ساژیتال[25] استفاده شد.
به ازای هر بیمار در مد تصویربرداری T1-Weighted، 26 اخذ تصویر هر یک با متوسط تعداد 128 اسلایس سینه، در دسترس است.
به ازای اسلایس‌‌های منتخب از هر مورد، مراحل پیش‌پردازش و انتخاب ROI انجام گرفته و مجموعه‌ای از ROIها در دو کلاس خوشخیم و بدخیم در دست است. نتایج خوش‌خیمی و بدخیمی هر توده، بر اساس نظر پزشک بیمارستان میلاد لحاظ شده‌اند.
برای استخراج [26]ROI مناسب، عملیات پیش‌پردازش[27] در قالب بلوک دیاگرام شکل (2) بر روی هر یک از تصاویر MR سینه انجام شد. در این بلوک دیاگرام داده‌های خام، تصاویر MRI تولید شده توسط نرم افزار واسط کاربر شرکت زیمنس با ابعاد 676×1012 پیکسلی هستند و تصاویر ROI خروجی دارای ابعاد 64×64 پیکسل است.
شکل (2): فرآیند پیش‌پردازش و استخراج ROI از هر تصویر MR سینه
در مرحله پیش‌پردازش، شدت کنتراست هر تصویر MR سینه به کمک نگاشت[28]محدوده روشنایی آن تصویر به مقادیر جدید، بهبود داده می‌شود. سپس، به کمک عملیات باز کردن مورفولوژیک[29]، تخمینی از تصویر پس‌زمینه به دست می‌آید. با تفریق تصویر پس‌زمینه از تصویر اولیه، تصویری با کاهش پس‌زمینه حاصل می‌شود. شکل (3) یک اسلایس محوری MR اولیه را که حاوی تومور است، نشان می‌دهد.
در شکل (4) تصویر، پس از بهبود کنتراست و حذف پس زمینه نشان داده شده است.
شکل (3): تصویر MR اولیه
شکل (4): تصویر MR پس از بهبود کنتراست و حذف پس‌زمینه
در مرحله قطعه‌بندی تصویر[30]، ابتدا از یک مقدار آستانه روشنایی استفاده می‌شود که در آن، چنانچه شدت روشنایی پیکسلی از حد آستانه کمتر باشد، مقدار روشنایی آن پیکسل صفر می‌شود. سپس، به کمک روش برچسب زدن اجزای متصل[31]، اجزای پیوسته در تصویر برچسبگذاری می‌شوند. در ادامه از توصیف‌گر ناحیه‌ای[32] مساحت، برای انتخاب ناحیه‌ای از تصویر که احتمال وجود توده در آن بیشتر است؛ استفاده می‌شود. زیرا در تصاویر MR سینه، توده‌ها دارای شدت روشنایی بیشتری نسبت به سایر بافت‌های سینه هستند.
در گام بعدی یک بلوک مربعی به عنوان ROI که در بردارنده ناحیه یاد شده از تصویر حذف پس‌زمینه شده، انتخاب می‌شود. بدین منظور به کمک یک الگوریتم خودکار ابتدا موقعیت‌های مکانی کوچکترین کادر مستطیلی در بردارنده توده و همچنین، مرکز ثقل توده به دست می‌آید. سپس، مربعی به ابعاد بزرگترین بعد کادر مستطیلی و به مرکز مختصات ثقل توده، به عنوان ROI از تصویر کاهش‌یافته، جدا می‌شود. در شکل (5) نتیجه پردازش این مرحله برای یک تصویر MR نمونه، نمایش داده شده است.
شکل (5): ROI استخراج شده از تصویر MR
با توجه به ابعاد تومورها در داده‌های موجود، اندازه 64×64 پیکسل برای ROIها در نظر گرفته می‌شود. در نهایت، از آنجا که ورودی شبکه عصبی کانولوشن مد نظر دارای ابعاد32×32 پیکسل است، ROIها به کمک بلوک‌های میانگین‌گیر غیرهمپوشان 2×2، به ابعاد 32×32 پیکسل تغییر اندازه پیدا میکنند. به ازای هر کلاس خوشخیم و بدخیم، 120 نمونه ROI حاوی توده از تصاویر MR اولیه انتخاب شد. با توجه به ماهیت شبکههای عصبی کانولوشن و برای تعمیم بهتر مسأله، از چرخش‌های 15، 30 و 45 درجه‌ای و همچنین، از معکوس آینه‌وار هر ROI نیز بهره برده شد تا مجموعه‌ای از 600 نمونه ROI به ازای هر کلاس بهدست آید. در این نوع از چرخش‌ها، تنها موقعیت پیکسل‌ها جابهجا می‌شود و مقدار آن‌ها هیچ تغییری نمی‌کند. از این طریق می‌توان به داده‌های معتبر آموزشی بیشتری دست یافت ]5[
در نهایت، از 80 درصد تصاویر ROI که شامل 960 نمونه خوشخیم و بدخیم است، برای آموزش شبکه و از 20 درصد مابقی داده‌ها که شامل 240 نمونه خوشخیم و بدخیم است، برای ارزیابی شبکه استفاده می‌شود.
یک شبکه عصبی کانولوشن شامل 3 نوع لایه مختلف است: لایه‌های کانولوشن[33]، لایه‌های نمونه‌برداری جزئی[34] و لایه خروجی[35]. لایه‌های شبکه در یک ساختار پیشرو منظم می‌شوند. هر لایه کانولوشن توسط یک لایه نمونه‌برداری جزئی دنبال شده و پس از آخرین لایه کانولوشن، لایه خروجی قرار می‌گیرد.
لایه‌های کانولوشن و نمونه‌برداری جزئی لایه‌هایی دو بعدی هستند؛ در حالی که لایه خروجی به شکل یک بعدی در نظر گرفته می‌شود. در CNN، هر لایه دو بعدی از چندین صفحه[36] تشکیل می‌شود که هر صفحه در واقع یک آرایه دو بعدی از نرون‌هاست. خروجی هر صفحه یک نقشه ویژگی[37] نامیده می‌شود.
اگر اندیس لایه شبکه باشد، تعداد نقشه‌های ویژگی لایه‌ای ام و تابع فعال‌ساز لایه ام است. برای لایه ام کانولوشن، اندازه ماسک به شکل تعریف می‌شود.
در شکل (7) بلوک دیاگرام لایه کانولوشن ام نشان داده شده است.
شکل (6): بلوک دیاگرام لایه‌ی ام کانولوشن.
را ماسک کانولوشن مربوط به اتصال نقشه ویژگی ام در لایه به نقشه ویژگی ام در لایه ،
را جمله بایاس نقشه ویژگی ام و
را مجموعه‌ای از صفحات در لایه که به نقشه ویژگی ام در لایه متصل‌اند؛ تعریف می‌کنیم.
با توجه به تعاریف بالا، نقشه ویژگی از لایه کانولوشن به شکل زیر محاسبه می‌شود:
|
(1) |
علامت عملگر کانولوشن دوبعدی بدون افزودن صفر[38]یا عملگر ماسک است.
3-1-2- لایه نمونه‌برداری جزئی
در این ساختار از شبکههای CNN، اندیس‌های مربوط به این لایه‌های نمونه‌برداری جزئی، زوج است. را وزن متناظر با نقشه ویژگی ام در لایه نمونه‌برداری و جمله بایاس تعریف می‌شود.در شکل (7) لایه نمونه‌برداری جزئی ام نشان داده شده است.
شکل (7): بلوک دیاگرام لایه‌ی ام نمونه‌برداری جزئی
در این لایه، نقشه ویژگی ام از لایه کانولوشن به بلوک‌های غیر همپوشان 2×2 پیکسلی تقسیم می‌شود. ماتریسی است که از میانگین‌گیری چهار پیکسل در هر بلوک 2×2 حاصل می‌شود.
|
(2) |
|
|
(3) |
نقشه ویژگی لایه نمونه‌برداری ام چنین محاسبه می‌شود:
|
(4) |
لایه خروجی L دارای نرون‌هایی از نوع سیگموئید است. تعداد نرون‌ها، وزن بین نقشه ویژگی ام از آخرین لایه کانولوشن با نرون ام از لایه خروجی و جمله بایاس مربوط به نرون ام از لایه است. خروجی نرون سیگموئیدی ام در لایه خروجی به شکل زیر محاسبه می‌شود:
|
(5) |
در شکل (8) بلوک دیاگرام لایه خروجی با دو نرون که معرف تعداد طبقات مورد نیاز است، نمایش داده شده است. در حقیقت لایه خروجی یک پرسپترون ساده است که وظیفه طبقه‌بندی داده‌ها را بر اساس ویژگیهای اسکالر تولید شده در آخرین لایه کانولوشن، بر عهده دارد.
شکل (8): بلوک دیاگرام لایه خروجی شبکه CNN
روش آموزش مورد استفاده در ساختار پیشنهادی، روش آموزش همراه با سرپرست[39] است. چنانچه تصویر ورودی و بردار خروجی مطلوب مفروض بوده و اگر و به ترتیب -امین تصویر در مجموعه آموزش و -امین بردار خروجی مطلوب متناظر و خروجی واقعی باشد، تابع خطا به شکل زیر تعریف می‌شود:
|
(6) |
رابطه (6)، بر اساس خطای کل ورودی‌ها عمل می‌کند. آموزش به این طریق، آموزش دسته‌ای[40]نامیده می‌شود.
گرادیان خطا از طریق محاسبه حساسیت‌های خطا به دست می‌آید که به شکل مشتق جزئی تابع خطا نسبت به ورودی جمع وزن‌دار به یک نرون، تعریف می‌شود. می‌توان برای ساختار شبکه کانولوشن شکل (9) که دارای 6 لایه فعال است، روابط گرادیان را محاسبه کرد.
شکل (9): ساختار شبکه کانولوشن نمونه با 6 لایه فعال
در ساختار بالا، حرف بیانگر لایه کانولوشن و مشخص کننده لایه نمونه‌برداری جزئی است.
برای نرون در نقشه ویژگی nام در لایه ، حساسیت خطا به شکل زیر محاسبه می‌شود:
|
(7) |
برای نقشه ویژگی خروجی و ورودی تصویر kام می‌توان خطای محلی را به شکل زیر نوشت:
|
(8) |
در رابطه بالا مشتق تابع فعال‌ساز نرون‌های لایه 6ام هستند. شایان ذکر است تعداد نقشه‌های ویژگی لایه خروجی یا همان تعداد خروجی‌های نهایی شبکه است که در ساختار شکل (6) مقدار می‌باشد. خطای نیز به شکل زیر تعریف می‌شود:
|
(9) |
که در آن و به ترتیب خروجی‌های مطلوب و واقعی شبکه هستند. گرادیان خطا برای محاسبه وزن‌ها و بایاس‌ها بر اساس آموزش دسته‌ای تصویر ورودی، عبارت است از:
|
(10) |
که در رابطه بالا و می‌باشند.
|
(11) |
مقدار متغیر بایاس لایه خروجی است.
|
(12) |
|
|
(13) |
در رابطه فوق، کرنل وزن نقشه ویژگی ام در لایه 5 و نقشه ویژگی ام در لایه 4 است.
|
(14) |
|
(15) |
منظور از ، و به ترتیب ماتریس‌های حساسیت خطا، کرنل‌های وزنی و ماتریس مجموع وزن‌دار مربوطه به نقشه‌های ویژگی لایه است. برای گرادیان خطا در این لایه داریم:
|
(16) |
عملگر همان عملیات ماسک یا کانولوشن بدون افزودن صفر است. در عبارت بالا، وزن هر اتصال، ماتریس خطای محلی آن اتصال و ماتریس کاهش بعد یافته با فاکتور 2 از نقشه ویژگی است.
|
(17) |
|
(18) |
تابع عملیات دو برابر کردن ابعاد ماتریس به روش تکرار بلوکی عناصر را بر عهده دارد. در این تابع از بلوک‌های تکرار 2×2 بهره گرفته می‌شود.
گرادیان خطا به شکل زیر در این لایه به دست می‌آیند:
|
(19) |
|
|
(20) |
|
(21) |
عملگر همان عملگر متداول کانولوشن دو بعدی است. مجموعه ، معرف کرنل‌های وزن مابین لایه‌ها و است که بر اساس نوع اتصالات تعریف می‌شوند. گرادیان‌های خطا به شکل زیر خواهند بود:
|
(22) |
|
|
(23) |
|
(24) |
ورودی این لایه، تصویر است. در این لایه روابط گرادیان خطا به شکل زیر محاسبه می‌شوند:
|
(25) |
|
|
(26) |
پس از محاسبه گرادیان خطا برای وزن‌ها و بایاس‌ها، می‌توان از الگوریتمهای بهینه‌سازی مختلفی برای حداقل کردن خطا و آموزش شبکه کمک گرفت.
در این نوشتار از روش‌های بهینه‌سازی مرتبه اول گرادیان نزولی و پس‌انتشار عدول‌شونده[41] برای اصلاح شاخصهای آزاد شبکه عصبی کانولوشن استفاده شده است. در جدول (1) الگوریتمهای آموزشی مورد استفاده، معرفی شده‌اند.
جدول (1): الگوریتمهای آموزشی مورد استفاده برای شبکه کانولوشن پیشنهادی
|
روش بهینه‌سازی |
الگوریتم اصلاح شاخصها |
|
گرادیان نزولی (GD) |
وزن‌ها و بایاس طبق رابطه دلتا به شکل زیر اصلاح می‌شوند:
و نرخ‌های آموزشی اسکالر و همواره مثبت |
|
پس‌انتشار عدول‌شونده (RPROP) |
اصلاح شاخصها بر اساس علامت گرادیان:
که گام تطبیق پذیر مربوط به وزن است و به شکل زیر تعریف می‌شود: به ترتیب گامهای کاهشی و افزایشی هستند و . [13] |
یکی از معیارهای متداول در ارزیابی و سنجش توانایی طبقه‌بندها، میزان تفکیک یا دقت طبقه‌بند در جداسازی و تفکیک کلاس‌های مسأله است. در زمینه تشخیص‌های پزشکی دو معیار حساسیت و خصوصیت طبقه‌بندها، نیز تعریف می‌شوند.
پیش از ارایه روابط معیارهای بالا، معرفی چند حالت تشخیصی ضروری به نظر می‌رسد:
بر اساس تعاریف بالا، می‌توان روابط حاکم بر معیارهای ارزیابی یک طبقه‌بند را در مسائل تشخیص پزشکی به شکل زیر ارایه کرد ]14[:
1) دقت:
|
(27) |
2) حساسیت:
|
(28) |
3) خصوصیت:
|
(29) |
4-1- شبیه‌سازی بر اساس استخراج ویژگی و طبقه‌بندی شبکه عصبی پرسپترون چند لایه
برای به دست آوردن یک معیار برای ارزیابی عملکرد شبکههای کانولوشن، از روش متداول استخراج ویژگی‌ها و سپس، طبقه بندی به کمک (یک شبکه عصبی ویژگی محور) MLP استفاده شد. بر این اساس، به ازای هر یک از ROIهای انتخاب شده، پنج ویژگی کارآمد شکلی (کروی بودن، وجود خار[46]، آنتروپی NRL، نسبت NRL و ناهمواری) و پنج ویژگی بافتی کارآمد (گشتاور زاویه‌ای مرتبه دوم[47]، مجموع آنتروپی، کورولیشن، مجموع میانگین و مجموع واریانس) انتخاب و استخراج شدند ]15- 18[. این 10 ویژگی به شکل یک بردار به ازای هر یک از ROIها به شبکه MLP سه لایه با اتصالات کامل و توابع فعال‌ساز سیگموئیدی اعمال شدند. از 80 درصد داده‌ها برای آموزش به روش Levenberg-Marquardt (LM)، از 10 درصد برای اعتبار بخشی و از 10 درصد باقیمانده برای آزمون شبکه عصبی بهره برده شد. جزئیات و نتایج در جدولهای (2) و (3) نشان داده شده‌اند.
جدول (2): جزئیات ساختار MLP
|
ساختار |
گره ورودی |
گره پنهان |
گره خروجی |
|||
|
MLP |
10 |
20 |
2 |
001/0 |
1/0 |
10 |
جدول (3): نتایج طبقه‌بندی ساختار MLP در مرحله آزمون
|
Test samples |
TP |
TN |
FP |
FN |
Se% |
Sp% |
Acc% |
|
120 |
55 |
52 |
7 |
6 |
16/90 |
14/88 |
17/89 |
در زیر نتایج شبیه‌سازی بر اساس نوع فرآیند آموزش ساختار شبکه عصبی کانولوشن، در قالب دو مرحله ارائه شده است. در گام اول از الگوریتم آموزشی گرادیان نزولی و در گام دوم از پس‌انتشار عدول شونده استفاده و نتایج با یکدیگر مقایسه شده‌اند. برای ارزیابی عملکرد ساختار پیشنهادی، از توابع فعال‌ساز خطی یا سیگموئیدی و همچنین، از تعداد نقشه‌های ویژگی متنوعی در لایه‌های مختلف بهره برده شد که نتایج نمونه‌هایی از کارآمدترین شبکه‌ها در جدولهای (4) و (5) و (6) گزارش شده است.
در این مرحله از 80 درصد داده‌ها برای آموزش و از مابقی برای ارزیابی ساختارها استفاده شده است.
رایانه مورد استفاده برای انجام شبیه‌سازی‌ها، دارای پردازنده دو هسته‌ای 5/2 گیگا هرتزی، حافظه اصلی 4 گیگا بایتی و سیستم عامل ویندوز هفت 64 بیتی است.
در جدول (4)، (2) نمونه شبکه عصبی کانولوشن بر اساس ساختار پیشنهادی و روش آموزش گرادیان نزولی معرفی می‌شوند.
تفاوت ساختارهای CNN1 و CNN2 در تابع فعال‌ساز لایه‌های نمونه‌بردار جزئی است.
جدول (4): جزئیات ساختارهای CNN1 و CNN2
|
نام ساختار عصبی |
تعداد نقشه‌های ویژگی در هر لایه |
اندازه نقشه‌های ویژگی در هر لایه |
اندازه کرنل آموزش پذیر در هر لایه |
نوع اتصالات لایه‌ی
|
نوع اتصالات لایه های
|
توابع فعال ساز لایه‌های کانولوشن |
توابع فعال ساز لایه‌های نمونه‌بردار جزئی |
نوع آموزش پارامترها |
|
CNN1 |
1-7-7-7-3-3 |
28×28-14×14-12×12-6×6-1×1 |
5×5-1×1-3×3-1×1-6×6-1×1 |
3-1 |
1-1 |
سیگموئید |
خطی |
GD |
|
CNN2 |
1-7-7-7-3-3 |
28×28-14×14-12×12-6×6-1×1 |
5×5-1×1-3×3-1×1-6×6-1×1 |
3-1 |
1-1 |
سیگموئید |
سیگموئید |
GD |
جدول (5): نتایج طبقه‌بندی CNN1 در مرحله آزمون
|
CNN1 |
Test samples |
TP |
TN |
FP |
FN |
Se% |
Sp% |
Acc% |
|
|
آزمایش 1 |
1/0 |
240 |
105 |
105 |
15 |
15 |
50/87 |
50/87 |
50/87 |
|
آزمایش 2 |
05/0 |
240 |
96 |
112 |
8 |
24 |
00/80 |
33/93 |
67/86 |
جدول (6): مقایسه درستی طبقه‌بندی CNN1 در مراحل آموزش و آزمون
|
CNN1 |
Epoch |
LearningTime |
Train Acc ate% |
Test Acc rate% |
|
آزمایش 1 |
500 |
min 37 |
04/96 |
50/87 |
|
آزمایش 2 |
500 |
min 37 |
58/89 |
67/86 |
بهترین عملکرد CNN1 به ازای نرخ آموزشی 1/0 برای وزن‌ها و بایاس‌ها بهدست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت، خصوصیت و درستی برابر 50/87 درصد در مرحله آزمون است.
منحنی اصلاح خطای MSE در این حالت، در شکل (10) نمایش داده شده است.
در جدولهای (7) و (8) نیز نتایج شبیه‌سازی شبکه CNN2 ارایه شده‌اند.
شکل (10): منحنی خطا در آموزش ساختار CNN1 و آزمایش1
جدول (7): نتایج طبقه‌بندی CNN2 در مرحله آزمون
|
CNN2 |
Test samples |
TP |
TN |
FP |
FN |
Se% |
Sp% |
Acc% |
|
|
آزمایش 1 |
1/0 |
240 |
104 |
110 |
10 |
16 |
67/86 |
67/91 |
17/89 |
|
آزمایش 2 |
05/0 |
240 |
115 |
114 |
6 |
5 |
83/95 |
00/95 |
42/95 |
جدول (8): مقایسه درستی طبقه‌بندی CNN2 در مراحل آموزش و آزمون
|
CNN2 |
Epoch |
Learning Time |
Train Acc rate% |
Test Acc rate% |
|
آزمایش 1 |
500 |
35min |
44/93 |
17/89 |
|
آزمایش 2 |
500 |
35min |
96/98 |
42/95 |
بهترین عملکرد CNN2 به ازای نرخ آموزشی 05/0 برای وزن‌ها و بایاس‌ها به دست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت 83/95 درصد، برای خصوصیت 95 درصد و برای درستی برابر 42/95 درصد در مرحله آزمون است. شکل (11)، نحوه اصلاح خطا را در هر Epoch نشان می‌دهد.
شکل (11): منحنی خطا در آموزش ساختار CNN2 و آزمایش 2
عملکرد ساختار CNN2 به علت استفاده از توابع فعال‌ساز سیگموئیدی برای لایه‌های نمونه‌بردار جزئی بهتر از عملکرد CNN1 ارزیابی می‌شود.
روش آموزش پس‌انتشار عدول‌شونده یکی از الگوریتمهای بهینه‌سازی مرتبه اول است و دارای این قابلیت است که حتی در گرادیان‌های بسیار کوچک خطا، به خوبی عمل می‌کند و از این لحاظ بسیار قوی‌تر از آموزش گرادیان نزولی است.
در جدول (9)، (2) نمونه شبکه عصبی کانولوشن بر اساس ساختار پیشنهادی و روش آموزش پس‌انتشار عدول‌شونده معرفی می‌شوند. تفاوت ساختارهای CNN3 و CNN4 در تابع فعال‌ساز لایه‌های نمونه‌بردار جزئی است.
جدول (9): جزئیات ساختارهای CNN3 و CNN4
|
نام ساختار عصبی |
تعداد نقشه‌های ویژگی در هر لایه |
اندازه نقشه‌های ویژگی در هر لایه |
اندازه کرنل آموزش‌پذیر در هر لایه |
نوع اتصالات لایه |
نوع اتصالات لایه‌های
|
توابع فعال ساز لایه‌های کانولوشن |
توابع فعال‌ساز لایه‌های نمونه‌بردار جزئی |
نوع آموزش شاخصها |
|
CNN3 |
1-7-7-7-3-3 |
28×28-14×14-12×12-6×6-1×1 |
5×5-1×1-3×3-1×1-6×6-1×1 |
3-1 |
1-1 |
سیگموئید |
خطی |
RPROP |
|
CNN4 |
1-7-7-7-3-3 |
28×28-14×14-12×12-6×6-1×1 |
5×5-1×1-3×3-1×1-6×6-1×1 |
3-1 |
1-1 |
سیگموئید |
سیگموئید |
RPROP |
جدول (10): نتایج طبقه‌بندی CNN3 در مرحله آزمون
|
CNN 3 |
Test Samples |
TP |
TN |
FP |
FN |
Se% |
Sp% |
Acc% |
|
|
آزمایش 1 |
005/1 – 995/0 |
240 |
115 |
116 |
4 |
5 |
83/95 |
67/96 |
25/96 |
|
آزمایش 2 |
01/1 – 99/0 |
240 |
116 |
120 |
0 |
4 |
67/96 |
100 |
33/98 |
|
آزمایش 3 |
05/1 – 95/0 |
240 |
117 |
117 |
3 |
3 |
50/97 |
50/97 |
50/97 |
جدول (11): مقایسه درستی طبقه‌بندی CNN3 در مراحل آموزش و آزمون
|
CNN 3 |
Epoch |
Learning Time |
Train Acc rate% |
Test Acc rate% |
|
آزمایش 1 |
300 |
min 28 |
79/99 |
08/97 |
|
آزمایش 2 |
300 |
min 28 |
79/99 |
33/98 |
|
آزمایش 3 |
300 |
min 28 |
100 |
50/97 |
بهترین عملکرد CNN3 به ازای نرخ افزایشی 01/1 و نرخ کاهشی 99/0 برای وزن‌ها و بایاس‌ها بهدست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت 67/96 درصد، برای خصوصیت 100 درصد و برای درستی برابر 33/98 درصد در مرحله آزمون است.
نکته مهمی که در نتیجه این حالت وجود دارد، صفر بودن مقدار FP است زیرا در سیستم‌های CAD پزشکی، صفر بودن مقدار FP بسیار با اهمیت است.
منحنی اصلاح خطای MSE در CNN3 برای حالت بهینه، در شکل (12) نمایش داده شده است.
شکل (12): منحنی خطا در آموزش ساختار CNN3 و آزمایش 2
جدول (12): مقایسه درستی طبقه‌بندی CNN4 در مراحل آموزش و آزمون
|
CNN 4 |
Epoch |
Learning Time |
Train Acc rate% |
Test Acc rate% |
|
آزمایش 1 |
300 |
min 25 |
100 |
75/98 |
|
آزمایش 2 |
300 |
min 25 |
100 |
50/97 |
|
آزمایش 3 |
300 |
min 25 |
100 |
58/94 |
جدول (13): نتایج طبقه‌بندی CNN4 در مرحله آزمون
|
CNN 4 |
Test Samples |
TP |
TN |
FP |
FN |
Se% |
Sp% |
Acc% |
|
|
آزمایش 1 |
005/1 – 995/0 |
240 |
117 |
120 |
0 |
3 |
50/97 |
100 |
75/98 |
|
آزمایش 2 |
01/1 – 99/0 |
240 |
118 |
116 |
4 |
2 |
33/98 |
67/96 |
50/97 |
|
آزمایش 3 |
05/1 – 95/0 |
240 |
114 |
113 |
7 |
6 |
00/95 |
17/94 |
58/94 |
بهترین عملکرد CNN4 به ازای نرخ افزایشی 005/1 و نرخ کاهشی 995/0 برای وزن‌ها و بایاس‌ها به دست می‌آید که در این صورت، نتیجه عملکرد طبقه‌بند برای حساسیت 50/97 درصد، برای خصوصیت 100 درصد و برای درستی برابر75/98 درصد در مرحله آزمون است.
منحنی اصلاح خطای MSE در CNN4 برای این حالت بهینه در شکل (13) نمایش داده شده است.
شکل (13): منحنی خطا در آموزش ساختار CNN4 و آزمایش 1
در این پژوهش کوشش شده است تا اصول طراحی یک سیستم هوشمند CAD تصویر محور برای تشخیص و طبقه‌بندی تومورهای خوشخیم و بدخیم سرطان سینه بر اساس تصاویر MRI ارایه شود. این سیستم بر مبنای شبکههای عصبی کانولوشن استوار است و امتیاز این نوع از ساختارهای هوشمند در این است که برای تشخیص تصاویر، دیگر نیازی به تعریف و استخراج دستی ویژگی‌ها وجود ندارد. این شبکه‌ها به گونه‌ای طراحی شده‌اند تا با مدل‌سازی ساختار بینایی و فرآیندهای تشخیصی وابسته به آن در مغز، با استخراج خودکار ویژگیهای مورد نیاز، به یادگیری کلاس تصاویر در یک ساختار متمرکز و واحد پرداخته و دانش متخصصان رادیولوژیست را در شناسایی بصری انواع تومورها فرا بگیرند. از این رو برای ارزیابی عملکرد این روش از یک رویکرد متداول استخراج ویژگی و طبقه‌بندی بر اساس شبکه عصبی MLP به عنوان یک معیار سنجش بهره برده شد. بدین ترتیب بهترین عملکرد برای CNN4 با روش بهینه‌سازی پس‌انتشار عدول شونده برای حساسیت 50/97 درصد، خصوصیت 100 درصد و درستی 75/98 درصد در مرحله آزمون حاصل شد. این در حالی است که برای روش متداول به کمک MLP، حساسیت 16/90 درصد، خصوصیت 14/88 درصد و درستی 17/89 درصد در مرحله آزمون به دست آمد.
ساختار پیشنهادی در این نوشتار، تلاش بر حداقل کردن تعداد شاخصهای آزاد شبکه کانولوشن نسبت به سایر انواع ساختارهای ارایه شده در مقالات و کاربردهای بینایی ماشین دارد. از سویی به کمک روش آموزش پس‌انتشار عدول‌شونده نیز کوشش شد تا سرعت فرآیند آموزش شاخصها نیز بهبود یابد. این روش در شبکههای کانولوشن یکسان و تعداد Epochهای برابر، بر اساس شبیه‌سازی‌های انجام شده، بطور متوسط 20 درصد نسبت به روش گرادیان نزولی سریعتر به خطای قابل قبول همگرا می‌شود.
[1] - Breast cancer.
[2]- Lung cancer.
[3] - Cancroid.
[4] - High-risk.
[5] - Artificial neural network.
[6] -False Positive (FP).
[7] -Region of Interest (ROI).
[8] -Feature Extraction.
[9] -Feature Based Neural Networks.
[10] -Normalized Radial Length (NRL)
[11] -Roughness
[12] -Homogeneity
[13] -Sensitivity (Se).
[14] -Specificity (Sp).
[15] -Accuracy (Acc).
[16] -Area under curve: AUC
[17] -Receiver Operating Characteristics
[18] -Image Based Neural Networks.
[19] -ROI
[20] -Spatial Gray Level Dependence
[21] -Gray Level Difference Statistics
[22] -Convolution Neural Networks (CNNs).
[23] -Field of view
[24] -Transaxial
[25] -Sagittal
[26] - Region of Interest.
[27] - Pre-Processing.
[28] - Mapping.
[29] - Morphological opening operation.
[30] - Image segmentation.
[31] - Labeling connected components approach.
[32] - Regional Descriptor.
[33] - Convolution layers.
[34] - Sub-Sampling layers.
[35] - Output layer.
[36] - Plane.
[37] - Feature map.
[38]- Zero-Padding.
[39] - Supervised Learning.
[40] - Batch.
[41]- Resilient Back-Propagation (RPROP).
[42] - True Positive.
[43] - True Negative.
[44] - False Positive.
[45] - False Negative.
[46] - Spiculation.
)