Automated Brain Tumor Segmentation on Multi-MR Sequences to Determine the Most Efficient Sequence using a Deep Learning Method

Document Type : Research Article

Authors

1 M.A., Dept. of Biomedical Engineering, Faculty of Engineering, University of Isfahan, Isfahan, Iran

2 Associate Researcher, Division of Nuclear Medicine and Molecular Imaging, Geneva University Hospital, Geneva University, Geneva, Switzerland

3 Associate Professor, Dept. of Biomedical Engineering, Faculty of Engineering, University of Isfahan, Isfahan, Iran

Abstract

Brain tumor segmentation is an important step in the diagnosis and treatment planning of cancer patients. The procedure of manual brain tumor segmentation suffers from a long processing time. In this light, automatic brain tumor segmentation is highly appealing in the clinical routine. This study sets out to segment the tumors from brain MR images and to investigate the effectiveness/usefulness of the different MRI sequences for this purpose. Here, the MR images from the BRATS challenge were utilized. 310 patients with four different MRI sequences, including T1, T1ce, T2, and FLAIR were employed to train a ResNet deep CNN. Four separate models were trained with each of the input MR sequences to identify the best sequence for brain tumor segmentation. To assess the performance of these models, 60 patients (external dataset) were quantitatively evaluated. The quantitative results indicated that the FLAIR sequence is more reliable for automatic brain tumor segmentation than other sequences with an accuracy of 0.77±0.10 in terms of Dice compared to Dice indices of 0.73±0.12, 0.73±0.15, and 0.62±0.17 obtained from T1, T2, and T1ce sequences, respectively. Based on the results of this study, FLAIR is a more reliable sequence than other sequences for brain tumor segmentation.

Keywords


  • مقدمه[1]

تومورهای مغزی می‌توانند در شکل‌ها و اندازه‌های مختلفی ظاهر شوند و تا زمان تشخیص به اندازة کافی رشد کنند. متداول‌ترین نوع تومورهای مغزی در بزرگسالان گلیوم است که از سلول‌های گلیال ایجاد شده است. براساس درجة وخامت گلیوم و منشأ آن، این نوع تومور مغزی به دو نوع گلیوم درجه‌ بالا ([1]HGG) و گلیوم درجه‌ پایین ([2]LGG) تقسیم می‌شود (1). یک روش معمول برای غربالگری تومورهای مغزی، تصویربرداری تشدید مغناطیسی (MRI[3]) است که در آن می‌توان مکان تومور را تعیین کرد. درواقع اسکن MRI از مغز علاوه بر اینکه اساس غربالگری تومور است، برای برنامه‌ریزی قبل از عمل جراحی یا پرتودرمانی نیز استفاده می‌شود (2).

متداول‌ترین روش درمان تومورهای مغزی، جراحی است. اگرچه ممکن است روش‌هایی نظیر پرتودرمانی و شیمی‌درمانی نیز برای کاهش سرعت رشد تومورهایی استفاده شوند که خارج‌کردن آنها مشکل است. بخش‌بندی تومورهای مغزی در تصاویر MRI می‌تواند تأثیر چشمگیری در تشخیص صحیح تومور و پیش‌بینی سرعت رشد آن و همچنین، برنامه‌ریزی برای درمان داشته باشد. برخی از تومورها مانند مننژیوم را می‌توان به راحتی بخش‌بندی کرد؛ در حالی که مشخص‌کردن محل تومورهایی مانند گلیوم و گلیوبلاستوم بسیار دشوارتر است. این تومورها (همراه با تورم اطراف آنها) بیشتر پراکنده‌اند و تضاد ضعیفی با بافت سالم اطراف خود دارند و به ساختارهایی شاخک‌مانند گسترش پیدا می‌کنند که بخش‌بندی آنها را دشوار می‌کند. مشکل اساسی دیگر در بخش‌بندی تومورهای مغزی این است که می‌توانند در هر نقطه از مغز، تقریباً به هر شکل و اندازه‌ای ظاهر شوند (3).

بخش‌بندی تومورهای مغزی توسط رادیولوژیست‌های با تجربه همچنان به‌عنوان مرجعی استاندارد در نظر گرفته می‌شود. با این حال، روش‌های بخش‌بندی نیمه‌خودکار و تمام‌خودکار رایانه‌ای، افزایش سرعت بخش‌بندی و تکرارپذیری نتایج را موجب می‌شوند. همچنین، روش‌های بخش‌بندی تمام‌خودکار ناهماهنگی میان‌مشاهده‌گر و درون مشاهده‌گر را از بین می‌برد که ناشی از عواملی مانند اختلاف در تخصص و توجه و خطاهای ناشی از خستگی بینایی است. علاوه بر این، با ظهور الگوریتم‌های تقسیم‌بندی با استفاده از شبکه‌های عصبی کانولوشنی، پیشرفت چشمگیری در افزایش شباهت بخش‌بندی در روش دستی و اتوماتیک به وجود آمده است (4-8).

در سال‌های اخیر، محققان بسیاری روش‌هایی برای بخش‌بندی خودکار و نیمه‌خودکار تومورهای مغزی ارائه کرده‌اند. با توجه به موفقیت‌های اخیر الگوریتم‌های شبکة عصبی کانولوشنی، مطالعات گسترده‌ای در حوزة بخش‌بندی خودکار تومورهای مغزی با استفاده از یادگیری عمیق انجام شده است (9, 10). در سال 2013، اصلیان و همکاران یک روش نیمه‌اتوماتیک به‌منظور بخش‌بندی تومور مغزی ارائه دادند. در این روش ابتدا ۳ انکولوژیست به‌صورت دستی تومور مغزی ۱۰ بیمار را بخش‌بندی کردند. سپس برای جلوگیری از سوگیری حافظه، از چهارمین انکولوژیست با تجربه خواسته شد تا با توجه به پیچیدگی شکل هدف (ادم یا تومور)، 4 تا 8 نقطه در اطراف هدف را روی سکانس‌های MRI انتخاب کند. در مرحله آخر، منحنی با بیشترین دقت به‌طور خودکار بین این نقاط درون‌یابی شد و بدین ترتیب منحنی اولیه برازش شد. منحنی اولیه به سرعت براساس به حداقل رساندن تابع انرژی تکامل یافت و درنهایت به مرز منطقه مدنظر، حجم هدف بالینی، همگرا شد. میانگین پارامتر شباهت در این روش، 82/0 و میانگین پارامتر هاسدورف 91/1 بوده است (11). در سال 2016، هوایی و همکاران یک شبکة عصبی کانولوشنی برای بخش‌بندی تومورهای مغزی تصاویر MRI موجود در پایگاه دادة BRATS آموزش دادند. شبکة عصبی کانولوشنی ارائه‌شده از یک معماری آبشاری[4] استفاده کرده است که نتیجة شبکة عصبی پایه به‌عنوان یک منبع اطلاعاتی دیگر برای شبکة عصبی بعدی استفاده می‌شود. مقدار پارامتر شباهت به‌دست‌آمده در این مطالعه 81/0 است (3). در سال 2016، پریرا و همکاران مطالعة مشابهی روی بخش‌بندی تومور مغزی با استفاده از مدل شبکة عصبی کانولوشنی همراه با نرمال‌سازی شدت و افزایش داده‌ها به‌منظور افزایش دقت بخش‌بندی تومور انجام دادند. پارامتر شباهت به‌ترتیب برای کل تومور، هسته تومور و مناطق افزایشی تومور 88/0، 83/0 و 77/0 به دست آمد (12). در سال 2017، کامینتساس و همکاران یک شبکة عصبی کانولوشنی چند مقیاس کاملاً متصل[5] را پیشنهاد کردند و از اولین کسانی بودند که از کانولوشن‌های سه بعدی استفاده کردند که شامل یک مسیر با وضوح بالا و یک مسیر با وضوح پایین است که ترکیب شده‌اند تا خروجی بخش‌بندی نهایی را تشکیل دهند (13). دونگ و همکاران در سال 2017 مدلی مبتنی بر معماری U-Net را به‌منظور شناسایی و بخش‌بندی تومور مغزی ارائه دادند. در این مطالعه 220 تصویر MRI از مجموعه داده‌های BRATS 2015 استفاده شد. پارامتر شباهت گزارش‌شده‌ در این روش 86/0 است (14). ایزنسی و همکاران در سال 2017 با استفاده از معماری U-Net مطالعة مشابهی را به‌منظور بخش‌بندی خودکار تومور مغزی مجموعه دادة BRATS 2015 ارائه کردند. مقدار پارامتر شباهت برای کل تومور، هستة تومور و مناطق افزایشی تومور به‌ترتیب 896/0، 797/0 و 732/0 به دست آمد (9). ونینگر و همکاران در سال 2018 از یک مدل U-Net 3 بعدی به‌منظور بخش‌بندی خودکار تومور مغزی با استفاده از مجموعه دادة BRATS 2018 استفاده کردند. با توجه به نتایج به‌دست‌آمده در این مطالعه، مقدار پارامتر شباهت برای کل تومور 84/0 است (2). چن و همکارانش در سال 2020 یک روش دو مرحله‌ای برای بخش‌بندی خودکار تومور مغزی روی تصاویر پایگاه دادة BRATS 2015 و BRATS 2018 انجام دادند. در این روش، ابتدا کل تومور مغزی با استفاده از طبقه‌بندی جنگل تصادفی و ویژگی‌های ظاهری مشخص شد. در مرحله دوم وکسل‌های موجود در ماسک به‌دست‌آمده به انواع مختلف تومور یا بافت طبقه‌بندی شدند. مقدار پارامتر شباهت به‌دست‌آمده در این مطالعه برای مجموعه داده‌های BRATS 2015 و BRATS 2018 به‌ترتیب 84/0 و 86/0 است (15). دای و همکاران در سال 2020 مطالعه‌ای به‌منظور ساخت تصاویر MRI تومور مغزی انجام دادند. هدف از این مطالعه تولید توالی‌های یک تصویر از یکی از توالی‌ها به‌منظور کاهش زمان تصویربرداری از بیمار بوده ‌است. در این مطالعه از یک شبکة عصبی به نام unified generative adversaria استفاده شده است که در آن تصویری به همراه برچسب توالی آن به شبکه داده می‌شود و در خروجی توالی‌های دیگر آن تصویر تولید می‌شود تا زمان طولانی تصویربرداری درMRI  کاهش یابد (16). زین‌الدین و همکاران در سال 2020 مطالعه‌ای به‌منظور بخش‌بندی خودکار تومور مغزی در توالی FLAIR تصاویر MRI موجود در پایگاه دادة BRATS 2020 انجام دادند که در آن از شبکة عصبی عمیق استفاده‌ شد. در این مطالعه، مدل U-Net به‌عنوان روش پایه یادگیری عمیق استفاده شد که در آن از ۳ مدل شبکة عمیق شامل ResNet، DenseNet و NASNet استفاده شد. نتایج به‌دست‌آمده برای پارامترهای شباهت و فاصله هاسدورف به‌ترتیب 84/0-81/0 و 7/19-8/9 است (17). رینیواس و همکاران در سال 2020 مطالعه‌ای به‌منظور بخش‌بندی تومور مغزی با استفاده از توالی‌های T2، T1c و FLAIR انجام دادند. در این مطالعه از تصاویر موجود در پایگاه دادة BRATS 2018 و از مدل U-Net برای استخراج ویژگی استفاده شد. در این مطالعه، ابتدا در تصاویر T2 و FLAIR کل ناحیة تومور تشخیص داده شد. سپس این تصاویر به‌منظور یادگیری ناحیة هسته و ناحیة درحال افزایش تومور در تصاویر T1c استفاده شدند. نتیجة به‌دست‌آمده برای پارامتر شباهت 96/0 است (18).

هدف از این تحقیق، بخش‌بندی خودکار تومورهای مغزی تصاویر MRI با استفاده از شبکة عصبی قدرتمند ResNet و بررسی میزان دقت توالی‌های مختلف MRI در بخش‌بندی تومور مغزی و معرفی کاراترین توالی به‌منظور کاهش زمان تصویربرداری است (19-21). شبکه‌های عصبی کانولوشنی یکی از بهترین ساختارهای عصبی توسعه‌یافته بر پایة شبکه‌های عصبی تصویرمحور است (22-24). مشخص‌کردن توالی از MRI با بهترین عملکرد در بخش‌بندی تومور مغزی (توالی که در آن تومور با بیشترین میزان دقت تشخیص داده می‌شود) می‌تواند مدت زمان تصویربرداری را کاهش دهد که این امر، راحتی بیمار و کاهش هزینه تصویربرداری را به همراه می‌آورد. برای این منظور، تصاویر موجود در پایگاه دادة MICCAI brain tumor segmentaion (BRATS) بررسی شدند. مراحل انجام این مطالعه شامل پیش‌پردازش تصاویر (استخراج ناحیة مدنظر (ROI) و بهنجارکردن آنها)، آموزش شبکه و سپس بخش‌بندی تصاویر آزمایش با استفاده از بستر NiftyNet (25) و شبکة عصبی اختصاصی ResNet و درنهایت ارزیابی نتایج به دست آمده است.

2- مطالب اصلی

2-1- داده‌های MRI بیماران

در این مطالعه از تصاویر موجود در پایگاه دادة BRATS به‌منظور آموزش و ارزیابی شبکة عصبی کانولوشنی برای بخش‌بندی تومور مغزی استفاده شده است. این پایگاه داده شامل 370 تصویر MRI بیمارانی با گلیوم درجه بالا و گلیوم درجه پایین در چهار توالی تصویربرداری با وزن T1 ([6]T1W)، تصویربرداری با وزن T1 با کنتراست تقویت‌کنندة گادولینیوم ([7]T1ce)، تصویربرداری با وزن T2 ([8]T2W) و FLAIR است. تمام تصاویر توسط 1 تا 4 رادیولوژیست‌ با تجربه، به چهار قسمت شامل بافت مغز، بافت مرده (necrotic) و تومور غیرافزایشی (non-enhancing tumor)، ورم اطراف تومور (peritumorat edema) و تومور درحال گسترش (enhancing tumor) بخش‌بندی شده‌ است. تصاویر بخش‌بندی‌شدة موجود در این پایگاه داده به‌عنوان مرجع اصلی برای آموزش و همچنین ارزیابی تصاویر بخش‌بندی‌شده توسط الگوریتم ارائه‌شده استفاده شده‌اند.

 

2-2- پیش‌پردازش

این مرحله شامل استخراج ناحیة مدنظر و همچنین بهنجارکردن تصاویر است. به‌منظور استخراج ناحیة مدنظر که همان ناحیة تومور است، تصاویر بخش‌بندی‌شدة تومور تمام بیماران در نرم‌افزار متلب فراخوانده شدند. سپس از میان تمام تصاویر بخش‌بندی‌شدة بیماران، بزرگ‌ترین اندازة تومور در سه جهت x، y و z مشخص شدند. هدف از این کار مشخص‌کردن کوچک‌ترین اندازة یکسان برای انتخاب ناحیة شامل تومور در تمام تصاویر است. با توجه به اینکه نرم‌افزار NiftyNet تصاویری با ابعاد مضرب 8 را به‌عنوان ورودی می‌پذیرد، کوچک‌ترین اندازة ناحیة شامل تومور برای تمام تصاویر مقدار 96×128×144 پیکسل برابر با 1×1×1 میلی‌متر در نظر گرفته‌ شد.

در مرحلة بعد، با توجه به ابعاد مشخص‌شده برای ناحیة مدنظر، تمام تصاویر در توالی‌های مختلف شامل T1W، T1ce، T2W و FLAIR و همچنین تصاویر بخش‌بندی‌شده، به مرکزیت تومور بریده شدند. تصاویر بخش‌بندی‌شده به تصاویر دودویی شامل ناحیة تومور و ناحیة غیرتومور تبدیل شدند. همچنین تصاویر MRI در چهار توالی با تقسیم‌شدن بر بیشترین مقدار پیکسل هر تصویر به‌طور جداگانه (روش z-score) به تصاویر بهنجار تبدیل شدند (شکل (1)).

 

2-3- آموزش شبکة عصبی

به‌منظور آموزش شبکة عصبی کانولوشنی برای بخش‌بندی تومور مغزی، از نرم‌افزار NiftyNet استفاده شده است. این نرم‌افزار یک شبکة عصبی کانولوشن منبع - باز مبتنی بر تنسورفلو[9] است که به‌منظور انجام مطالعات در زمینة تجزیه و تحلیل تصاویر پزشکی و درمان با کمک تصاویر کلینیکی استفاده می‌شود.

در این مطالعه، به‌منظور آموزش شبکه، 310 تصویر MRI با ابعاد 96×128×144 به‌عنوان ورودی در نظر گرفته شد. در مرحلة آموزش شبکه از معماری شبکة HighRes3DNet استفاده شده‌ است. شبکة ResNet از 20 لایة کانولوشنی تشکیل شده است که در هفت لایة اول آن از هستة کانولوشن[10] با ابعاد 3×3×3 وکسل استفاده می‌شود. این لایه‌ها ویژگی‌های سطح پایین مثل لبه‌ها را از دادة ورودی استخراج می‌کنند. هفت لایة بعدی هستة کانولوشنی متسع[11] را با ضریب دو برای رمزگذاری ویژگی‌های سطح متوسط از ورودی به کار می‌گیرند. شش لایة آخر علاوه بر لایه‌های قبلی، هستة کانولوشنی متسع را با ضریب 4 استفاده می‌کنند تا امکان استخراج ویژگی‌های سطح بالا فراهم شود. یک اتصال باقی‌مانده[12] هر دو لایة کانولوشن را به هم پیوند می‌دهد. یک نرمال‌سازی دسته‌ای[13] و تابع یک‌سوساز خطی[14] به لایه‌های کانولوشنی واقع در بلوک‌های باقی‌مانده[15] متصل می‌شود (شکل 2) (26).

در این مطالعه، تنظیمات شبکة عصبی ResNet به‌صورت زیر انجام شد: بهینه‌ساز [16]Adam، نرخ آموزش 01/0، Batch size 10، تابع خطای Dice_NS و تعداد و تعداد تکرار 10000. در این مطالعه، هریک از تصاویر به‌طور جداگانه آموزش داده و بهینه‌سازی شدند تا بهترین تصویر برای جداسازی تومور مغزی از تصاویر MRI مشخص شود.

همچنین برای ارزیابی شبکة آموزش‌دیده برای بخش‌بندی تومور مغزی، 60 تصویر MRI دیگر از پایگاه دادة BRATS استفاده شدند. در این مرحله، ابتدا تصاویر در نرم‌افزار NiftyNet، بخش‌بندی و سپس برای ارزیابی میزان موفقیت شبکه، در نرم‌افزار متلب فراخوانده شدند.

 

2-4- ارزیابی

به‌منظور ارزیابی عملکرد الگوریتم ارائه‌شده برای بخش‌بندی تومور مغزی، پارامترهای زیر محاسبه شده‌اند (27).

 

(1)

 

(2)

 

(3)

 

(4)

 

(5)

 

 

           

 

که در آنها، S ناحیة بخش‌بندی‌شدة الگوریتم پیشنهادی و M ناحیة بخش‌بندی‌شدة دستی یا مرجع است. پارامتر حساسیت[17] نسبتی از ناحیة شامل تومور به کل ناحیة تومور مرجع است که مدل به درستی تشخیص داده‌‌ است. پارامتر دقت[18] نسبتی از ناحیه‌ای است که مدل به درستی به‌عنوان تومور تشخیص داده است، به کل ناحیة تومور تشخیص داده شده توسط مدل. پارامترهای شباهت[19] و شاخص جاکارد[20] به‌منظور بررسی میزان شباهت یا تفاوت ناحیة بخش‌بندی‌شدة مرجع و مدل ارائه‌شده در این مطالعه‌اند. پارامتر فاصله هاسدورف[21] نیز به‌منظور اندازه‌گیری فاصلة دو ناحیة بخش‌بندی‌شدة مرجع و مدل ارائه‌شده‌ است.

3- نتیجه‌گیری

3-1- نتایج

در این مطالعه نتایج حاصل از بخش‌بندی تومور مغزی تصاویر MRI موجود در پایگاه دادة BRATS بررسی شدند. در شکل (3) دو نمونه از تصاویر MRI بیماران و نتایج بخش‌بندی آنها با استفاده از الگوریتم شبکة عصبی ارائه‌شده در این مطالعه نشان داده شده‌اند.

به‌منظور ارزیابی نتایج حاصل از بخش‌بندی تومور مغزی تصاویر MRI توسط الگوریتم ارائه‌شده در این مطالعه، بررسی‌های کمی با استفاده از روابط 1 تا 5 انجام شده‌اند. نتایج این بررسی‌ها در جدول (1) نشان داده شده‌اند.

به‌منظور بررسی دقیق‌تر عملکرد الگوریتم ارائه‌شده برای بخش‌بندی تومور مغزی، پارامترهای شباهت و فاصله هاسدورف برای تمام بیمارانی نشان داده شدند که تصاویر آنها آزمایش شده‌اند (شکل‌های 4 و 5).

 

3-2- بحث

تصویربرداری MRI روشی زمان‌بر بوده و برای بیماران ممکن است طاقت‌فرسا باشد. با توجه به آنچه در پیشینة این تحقیق ارائه شد، در سال‌های اخیر مطالعات گوناگونی در حوزة بخش‌بندی تومور مغزی انجام گرفته‌اند؛ اما تاکنون مطالعه‌ای به‌منظور بررسی میزان موفقیت توالی‌های مختلف در تشخیص تومور انجام نگرفته است و این نوآوری این تحقیق است.

 هدف از این مطالعه، مشخص‌کردن توالی از MRI است که بتوان تومور مغزی را با دقت بالا تشخیص داد. درواقع مشخص‌کردن بهترین توالی MRI علاوه بر اینکه به ما کمک می‌کند در مدت زمان کمتری تومور مغزی با بیشترین میزان دقت تشخیص داده شود، بیمار مدت زمان کمتری را داخل دستگاه سپری می‌کند که موجب آسایش بیشتر بیمار می‌شود. برای رسیدن به هدف فوق، در این مطالعه بخش‌بندی تومور مغزی در تصاویر MRI موجود در پایگاه دادة BRATS با استفاده از شبکة عصبی ResNet و مقایسة میزان دقت توالی‌های مختلف MRI به‌منظور یافتن کاراترین توالی انجام گرفت. برای این منظور، ابتدا پیش‌پردازشی روی تصاویر این پایگاه داده در نرم‌افزار متلب انجام شد. این پیش‌پردازش شامل استخراج ناحیة دلخواه، تومور مغزی و همچنین بهنجارکردن تصاویر MRI بوده است. مدت زمان اجرای این قسمت در نرم‌افزار متلب 2019، حدود 8 ثانیه است. در ادامه، آموزش شبکة عصبی کانولوشنی در نرم‌افزار NiftyNet روی 310 تصویر این پایگاه داده انجام‌ گرفت. پس از آن، تصاویر آزمایش به تعداد 60 عدد به‌عنوان ورودی به شبکة عصبی کانولوشنی طراحی‌شده در این تحقیق، وارد و در خروجی تصاویر بخش‌بندی‌شده دریافت ‌شدند. مدت زمان آموزش هر تصویر در نرم‌افزار NiftyNet 3/11 ثانیه و مدت زمان بخش‌بندی هر تصویر 2/1 ثانیه است (مشخصات سیستم استفاده‌شده به این صورت است: GPU: Nvidia GeForce GTX 1070 Ti  و CPU: Core i9-7900X). به‌منظور بررسی عملکرد الگوریتم ارائه‌شده در این مطالعه، تصاویر بخش‌بندی‌شده به نرم‌افزار متلب، وارد و با تصاویر بخش‌بندی‌شدة موجود در پایگاه داده مقایسه شدند. همچنین میزان دقت توالی‌های مختلف MRI شامل تصویربرداری با وزنT1 ، تصویربرداری با وزن T1 با کنتراست تقویت‌کنندة گادولینیوم، تصویربرداری با وزن T2 و FLAIR برای بخش‌بندی تومور مغزی بررسی شد. تصاویر پردازش‌شده در صورت درخواست به‌صورت آماده (پیش‌پردازش‌شده) در اختیار دیگر محققان نیز قرار خواهند گرفت.

همان‌طور که در جدول (۱) نشان داده‌ شده‌ است، نتایج بخش‌بندی تومور در توالی FLAIR بهتر از نتیجة بخش‌بندی تصویر در توالی‌های T1W، T2W‌ و T1ce است. با توجه به این جدول، حساسیت FLAIR در بخش‌بندی تومور مغزی نسبت به سایر توالی‌ها بیشتر است. توالی‌های T1W و T2W نیز به‌ترتیب در جایگاه دوم و سوم ازنظر حساسیت قرار گرفته‌اند. با بررسی پارامتر شباهت (Dice) مشخص می‌شود تومورهای بخش‌بندی‌شده در توالی  FLAIRبیشترین میزان شباهت را با تصاویر بخش‌بندی‌شدة موجود در پایگاه داده دارند. نتایج به‌دست‌آمده از پارامتر شباهت برای سکانس‌های T1W و T2W تقریباً مشابه‌اند و این دو توالی در جایگاه دوم ازنظر میزان شباهت با تصاویر بخش‌بندی‌شده در مرجع قرار می‌گیرند. همان‌طور که در جدول (1) مشاهده می‌شود، هر چهار توالی تقریباً عملکرد مشابهی دربارة ارزیابی الگوریتم با استفاده از پارامتر فاصله هاسدورف نشان داده‌اند؛ هرچند T2W و  T1ceبه‌ترتیب بهترین و بدترین عملکرد را داشته‌اند.

جدول (1): نتایج حاصل از بررسی عملکرد شبکة عصبی ارائه‌شده:

T1ce

T2

T1

FLAIR

توالی

ارزیابی

20/0 ± 68/0

18/0 ± 73/0

16/0 ± 79/0

12/0 ± 83/0

Sensitivity (Mean ± SD)

17/0 ± 60/0

16/0 ± 77/0

12/0 ± 69/0

14/0 ± 74/0

Precision (Mean ± SD)

17/0 ± 62/0

15/0 ± 73/0

12/0 ± 73/0

10/0 ± 77/0

Dice

(Mean ± SD)

15/0 ± 46/0

16/0 ± 60/0

14/0 ± 59/0

12/0 ± 64/0

Jaccard (Mean ± SD)

56/0 ± 98/3

50/0 ± 48/3

50/0 ± 59/3

64/0 ± 65/3

Hausdorff Distance

(Mean ± SD)

 

با بررسی دقیق‌تر نتیجة محاسبة هر پارامتر روی تک‌تک تصاویر بیماران، مشخص شد تعدادی از این تصاویر به‌دلیل نوفه بالا یا مشخص‌نبودن تومور به‌صورت واضح، عملکرد ضعیفی در تشخیص محل تومور داشته‌اند؛ برای مثال، در شکل (6) که نشان‌دهندة تصویر MRI بیمار نمونه است، محل تومور در سه توالی T1W، T2W و T1ce نامشخص است. همین امر موجب افت شدید عملکرد الگوریتم ارائه‌شده روی تصاویری از این مجموعه شده است. 

با توجه به اینکه تاکنون مطالعه‌ای برای مشخص‌کردن کاراترین توالی در تشخیص تومور مغزی انجام نشده است، مقایسه با سایر مطالعات صرفاً به مقایسة مقدار عددی پارامتر شباهت و آن هم برای داشتن حسی در خصوص محدودة عددی این پارامتر، محدود شده است. در مطالعة اصلیان و همکاران اگرچه مقدار میانگین پارامتر شباهت، 82/0 و میانگین پارامتر هاسدورف 91/1 بوده است، روش ارائه‌شده بسیار زمان‌بر است و به‌طور میانگین حدود 25/3 دقیقه برای بخش‌بندی هر تصویر زمان لازم است (11)؛ در حالی که در این مطالعه بخش‌بندی هر تصویر کمتر از 30 ثانیه به طول می‌انجامد. در مطالعات دونگ، ایزنسی و ونینگر (13، 9، 1) از شبکة عصبی U-Net استفاده شده است که نتایج پارامتر شباهت در این مطالعات به‌ترتیب برابر با 86/0، 89/0 و 84/0 است. گفتنی است در این مطالعات چهار توالی MRI به‌طور همزمان به شبکة عصبی وارد شده‌اند و همین امر سبب افزایش مقدار پارامتر شباهت شده‌ است. براساس نتایج ارائه‌شده در جدول (1)، بیشترین مقدار به‌دست‌آمده برای پارامتر شباهت، 77/0 و مربوط به توالی FLAIR است. در مطالعة زین‌الدین (17)، فقط توالی FLAIR آموزش داده‌ شده است و سایر توالی‌ها به‌طور جداگانه بررسی نشده‌اند. به‌طور کلی هدف این مطالعه بهینه‌سازی نتایج بخش‌بندی تومور در این توالی خاص بوده است. در مطالعة رینیواس و همکاران، هدف بهینه‌سازی یک روش یادگیری عمیق برای بخش‌بندی تومور بوده است که در آن دو توالی FLAIR و T2 به‌منظور بخش‌بندی کل ناحیة تومور استفاده شدند و سپس نتیجة این قسمت به همراه توالی T1c برای بخش‌بندی هستة تومور و ناحیة درحال افزایش تومور استفاده شد و نتایج خوبی از این روش به دست آمد؛ گرچه ترکیب توالی‌ها در عملکرد روش ارائه‌شده تأثیر زیادی داشته است (18). به‌طور کلی هدف مطالعات ذکرشده در بخش پیشینة بهینه‌سازی یک روش به‌منظور بخش‌بندی تومور مغزی بوده است؛ در حالی که هدف این تحقیق مشخص‌کردن توالی MRI با بهترین عملکرد و بیشترین اطلاعات برای جداسازی بافت تومور و تشخیص تومور مغزی، به‌منظور کاهش زمان تصویربرداری است که این مطلب مهم‌ترین نوآوری این تحقیق است. تصویربرداری هم‌زمان از بیمار برای چندین توالی MRI زمان‌بر بوده و همچنین به‌دلیل حرکت بیمار این تصاویر ممکن است بر هم منطبق نباشند. این عدم انطباق سبب می‌شود استفادة هم‌زمان از این تصاویر امکان‌پذیر نباشد. الگوریتم‌های انطباق تصویر نیز بدون خطا نیستند؛ بنابراین، اگر فقط یک توالی MRI از بیمار گرفته شود و این توالی حداکثر اطلاعات مربوط به تومور را در اختیار قرار دهد، علاوه بر اینکه سبب کاهش زمان تصویربرداری می‌شود (که راحتی بیمار و کاهش هزینه را نیز به دنبال خواهد داشت)، از خطاهای ناشی از حرکت بیمار و عدم انطباق تصاویر نیز جلوگیری می‌کند. همچنین، در این مطالعه از شبکة HighRes3DNet استفاده شده است که از لایه‌های با قدرت تفکیک مکانی (تفکیک‌پذیری مکانی) بالا برای استخراج اطلاعات از تصاویر MRI استفاده می‌کند. معمولاً در شبکه‌های عصبی به‌منظور کاهش تعداد متغیرهای آموزش و کم‌کردن بار پردازش شبکه، از لایه‌های کاهش تفکیک‌پذیری مکانی استفاده می‌شود که سبب از دست رفتن اطلاعات مهمی از تصاویر می‌شود. این موضوع اهمیت ویژه‌ای در پردازش توالی‌های MRI دارد؛ زیرا با تفکیک‌پذیری مکانی بالای این تصاویر، استفاده از شبکه‌های متداول سبب از دست رفتن قسمتی از اطلاعات موجود در این تصاویر می‌شود. به همین دلیل در این مطالعه، شبکة HighRes3DNet پیشنهاد شده است که می‌تواند تصاویر MRI را بدون کاهش تفکیک‌پذیری مکانی و با همان دقت و جزئیات اصلی پردازش کند. روش‌های دیگر مانند جداسازی به کمک اطلس یا کانتور فعال برای تومورهایی کاربرد چندانی ندارند که شکل و ابعاد کاملاً تصادفی دارند و تقریباً از هیچ نظامی پیروی نمی‌کنند. این روش‌ها بیشتر برای ارگان‌هایی با شکل و ابعاد قابل پیش‌بینی و مدل‌پذیر کاربرد دارند. همچنین، این روش‌ها در بسیاری از موارد به دخالت کاربر نیاز دارند و قادر به جداسازی تومور به‌طور کاملاً خودکار نیستند.

مطالعة انجام‌شده از لحاظ پزشکی نیز ارزش و اهمیت بسیاری دارد. به‌طور کلی در حوزة پزشکی مطالعات تخصصی به‌منظور مشخص‌کردن بهترین و کاراترین مد یا روش تصویربرداری، بهترین روش بخش‌بندی یا بهترین حالت ترکیب اطلاعات از روش‌ها یا متخصصان مختلف انجام می‌شود؛ برای مثال، در مطالعه‌ای که به‌منظور طبقه‌بندی آسیب‌شناسی دیجیتال سرطان پروستات انجام گرفته است، تصاویر بخش‌بندی‌شده با روش هوش مصنوعی و توسط 6 متخصص با سابقه‌ و تجربة متفاوت طبقه‌بندی شدند. هدف این مطالعه مشخص‌کردن بهترین تشخیص از میان تشخیص‌های این 6 متخصص بوده است (28). نتایج به‌دست‌آمده از این مطالعه و مطالعاتی مشابه می‌توانند ازنظر کلینیکی اطلاعات بسیار مفید و ارزشمندی را در اختیار محققان قرار دهند.

مشخص‌کردن توالی با بهترین عملکرد در تشخیص تومور مغزی، سبب می‌شود در کوتاه‌ترین مدت تصویربرداری اطلاعات مورد نیاز برای تشخیص و جداسازی تومور به دست آید. در سال‌های اخیر مطالعات فراوانی به‌منظور سنتز تصاویر پزشکی انجام شده‌اند که هدف آنها مدل‌سازی نقشه‌برداری از تصاویر منبع به تصاویر هدف است؛ برای مثال، در مطالعة دای بیان شده است که توالی‌های مختلف MRI قابلیت‌های مختلفی در تشخیص تومور مغزی دارند و بهره‌بردن از نقاط قوت هرکدام از توالی‌ها به تشخیص بهتر تومور مغزی کمک می‌کند؛ اما در تصویربرداری MRI، به‌دلیل محدودبودن زمان تصویربرداری، تنظیمات نادرست دستگاه، وجود مصنوعات و آلرژی بیمار به مواد حاجب، اعمال چندین توالی تصویربرداری برای هر بیمار دشوار است (16). این موضوع بر هدف اصلی این مطالعه صحه می‌گذارد که کاهش زمان تصویربرداری و استفاده از یک توالی به‌منظور بخش‌بندی تومور مغزی بوده است. ‌با توجه به اینکه آموزش یک شبکه به‌طور اختصاصی برای یک کاربرد خاص، یک دستگاه خاص یا یک پروتکل تصویربرداری خاص بهینه‌سازی شده است و منجر به نتایج دقیق‌تری نسبت به مدل‌های کلی‌تر می‌شود، ترجیح محققان این است که تا حد امکان شبکه‌ها اختصاصی توسعه یابند (21, 26). در این مطالعه نیز شبکة پیشنهادی روی یک تعداد توالی MRI خاص (310 تصویر برای آموزش و 60 تصویر برای آزمایش) اعمال شده است که همگی از یک دستگاه با یک پروتکل و کیفیت ثابت به دست آمده‌اند؛ بنابراین، یافته‌های این تحقیق به‌طور اختصاصی مربوط به این مطالعه و داده‌ها است و نتیجه‌گیری کلی و بسط این یافته‌ها به دیگر دستگاهها و الگوریتم‌ها بدون انجام مطالعة اختصاصی امکان‌پذیر نیست.

 

3-3- نتیجه‌گیری

هدف از این مطالعه بخش‌بندی تومور مغزی تصاویر MRI با استفاده از شبکة عصبی ResNet و بررسی میزان موفقیت توالی‌های مختلف تصاویر MRI برای این منظور است. مشخص‌کردن توالی با بهترین عملکرد در تشخیص تومور مغزی، سبب می‌شود ضمن تشخیص تومور مغزی با بیشترین میزان دقت، زمان کمتری برای تصویربرداری از بیمار صرف شود که افزایش سرعت تصویربرداری و امکان انجام تصویربرداری از تعداد بیشتری بیمار و درنهایت کاهش هزینه‌های تصویربرداری را موجب می‌شود. با توجه به نتایج به‌دست‌آمده، شبکة عصبی معرفی‌شده عملکرد مناسبی برای بخش‌بندی تومور مغزی دارد. براساس این مطالعه، توالی ‌FLAIR حساسیت بیشتری در بخش‌بندی تومور مغزی داشته است. همچنین مقدار پارامتر شباهت برای توالی  FLAIRنسبت به سایر توالی‌ها بیشتر بوده است. همچنین نتایج این تحقیق نشان دادند میزان عملکرد توالی‌های T1W و T2W تقریباً یکسان است و در رتبه بعد از توالی FLAIR قرار دارند.

 

 

 

شکل (1): نمونه تصاویر MRI یک بیمار موجود در پایگاه داده در ۴ توالی. تصاویر (الف)، (ب)، (پ) و (ت) به‌ترتیب تصاویر MRI پایگاه داده در ۴ توالی FLAIR، T2W، T1ce و T1W هستند. تصاویر تصویر (ث)، (ج)، (چ)، (ح) به‌ترتیب نتایج بهنجارسازی تصاویر MRI در 4 توالی FLAIR، T2W، T1ce و T1W است. تصاویر تومور با بزرگنمایی دو برابر نسبت به تصاویر MRI نمایش داده شده‌اند.

 

 

شکل (2): شمای کلی شبکة عصبی کانولوشنی ReLU

 

قاب 1

 

قاب 2

 

شکل (3): نمونه تصاویر MRI دو بیمار موجود در پایگاه داده در ۴ توالی. در هر تصویر (قاب 1 و 2) بیمار نمونه، تصاویر (الف)، (ب)، (پ) و (ت) به‌ترتیب تصاویر MRI پایگاه داده در ۴ توالی FLAIR، T2W، T1ce و T1W هستند. تصویر (ث) تصویر بخش‌بندی‌شده توسط متخصصان در پایگاه داده است. تصاویر (ج)، (چ)، (ح) و (خ) به‌ترتیب نتایج بخش‌بندی تصاویر MRI توسط الگوریتم یادگیری عمیق ارائه‌شده در ۴ توالی FLAIR، T2W، T1ce و T1W است. تصاویر تومور با بزرگنمایی دو برابر نسبت به تصاویر MRI نمایش داده شده‌اند.

 

شکل (4): نتایج محاسبة پارامتر شباهت برای تمام تصاویر MRI استفاده‌شده برای ارزیابی الگوریتم ارائه شده‌اند. تصاویر (الف)، (ب)، (ج) و (د) به‌ترتیب نتایج پارامتر شباهت برای تصاویر MRI در 4 توالی FLAIR، T1W، T2W و T1ce هستند.

 

 

شکل (5): نتایج محاسبة پارامتر فاصله هاسدورف برای تمام تصاویر MRI استفاده‌شده برای ارزیابی الگوریتم ارائه شده‌اند. تصاویر (الف)، (ب)، (ج) و (د) به‌ترتیب نتایج پارامتر فاصله هاسدورف برای تصاویر MRI در 4 توالی FLAIR، T1W، T2W و T1ce هستند.

 

 

شکل (6): نمونه‌ای از تصویر MRI یکی از بیماران در 4 توالی که نتیجه‌ بخش‌بندی ضعیفی داشته است. تصاویر (الف)، (ب)، (پ) و (ت) به‌ترتیب تصاویر MRI بیمار در ۴ توالی FLAIR، T2W، T1ce و T1W هستند. تصویر (ث) نیز تصویر بخش‌بندی‌شدة مرجع است. مقدار پارامتر شباهت برای این بیمار در توالی‌های FLAIR، T2W، T1ce و T1W به‌ترتیب 29/0، 45/0، 15/0 و 34/0 است.

سپاسگزاری

از حمایت مادی و معنوی معاونت محترم پژوهش و فناوری دانشگاه اصفهان در قالب طرح مصوب با کد 9912011، در اجرای این تحقیق سپاسگزاری می شود.

 

[1] تاریخ ارسال مقاله: 30/08/1399

تاریخ پذیرش مقاله: 09/09/1400

نام نویسندۀ مسئول: علیرضا کریمیان

نشانی نویسندۀ مسئول: ایران – اصفهان – دانشگاه اصفهان – دانشکده فنی و مهندسی

 

[1] High Grade Gliomas

[2] Low Grade Gliomas

[3] Magnetic Resonance Imaging

[4] Cascade architecture

[5] fully connected multi-scale CNN

[6] T1-weighted

[7] T1-weighted imaging with gadolinium enhancing contrast

[8] T2-weighted

[9] TensorFlow-based open-source convolutional neural networks

[10] Convolution kernel

[11] Dilated convolutional kernel

[12] Residual connection

[13] Batch normalization

[14] ReLU

[15] Residual blocks

[16] Adaptive Moment Estimation

[17] Sensitivity

[18] Precision

[19] Dice similarity coefficient

[20] Jaccard index

[21] Hausdorff distance

[1] Zhou C, Chen S, Ding C, Tao D, editors. Learning contextual and attentive information for brain tumor segmentation. International MICCAI Brainlesion Workshop, 2018, Springer.
[2] Weninger L, Rippel O, Koppers S, Merhof D, editors. Segmentation of brain tumors and patient survival prediction: methods for the BraTS 2018 challenge. International MICCAI Brainlesion Workshop; 2018: Springer.
[3] Havaei M, Davy A, Warde-Farley D, Biard A, Courville A, Bengio Y, et al. Brain tumor segmentation with deep neural networks. Medical image analysis. Vol. 35, pp.18-31, 2017.
[4] Karimi D, Salcudean SE. Reducing the hausdorff distance in medical image segmentation with convolutional neural networks. IEEE Transactions on medical imaging. Vol. 39, No. 2, pp. 499-513, 2019.
[5] Arabi H, Dowling JA, Burgos N, Han X, Greer PB, Koutsouvelis N, et al. Comparative study of algorithms for synthetic CT generation from MRI: Consequences for MRI-guided radiation planning in the pelvic region. Medical physics. Vol. 45, No.11, pp. 5218-33, 2018.
[6] Arabi H, Zeng G, Zheng G, Zaidi H. Novel adversarial semantic structure deep learning for MRI-guided attenuation correction in brain PET/MRI. European journal of nuclear medicine and molecular imaging. Vol. 46, No. 13, pp. 2746-59, 2019.
[7] Bahrami A, Karimian A, Fatemizadeh E, Arabi H, Zaidi H. A new deep convolutional neural network design with efficient learning capability: Application to CT image synthesis from MRI. Medical physics. 2020.
[8] Arabi H, Zaidi H. Whole-body bone segmentation from MRI for PET/MRI attenuation correction using shape-based averaging. Medical physics. Vol. 43, No. 11, p. 5848, 2016.
[9] Isensee F, Kickingereder P, Wick W, Bendszus M, Maier-Hein KH, editors. Brain tumor segmentation and radiomics survival prediction: Contribution to the brats 2017 challenge. International MICCAI Brainlesion Workshop; 2017: Springer.
[10] Arabi H, Zaidi H. Applications of artificial intelligence and deep learning in molecular imaging and radiotherapy. European Journal of Hybrid Imaging. Vol. 4, No.1, pp. 1-23, 2020.
[11] Aslian H, Sadeghi M, Mahdavi SR, Mofrad FB, Astarakee M, Khaledi N, et al. Magnetic resonance imaging-based target volume delineation in radiation therapy treatment planning for brain tumors using localized region-based active contour. International Journal of Radiation Oncology* Biology* Physics. Vol. 87, No. 1, pp. 195-201, 2013.
[12] Pereira S, Pinto A, Alves V, Silva CA. Brain tumor segmentation using convolutional neural networks in MRI images. IEEE transactions on medical imaging. Vol. 35, No. 5, pp. 1240-51, 2016.
[13] Kamnitsas K, Ledig C, Newcombe VF, Simpson JP, Kane AD, Menon DK, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical image analysis. Vol. 36, pp. 61-78, 2017.
[14] Dong H, Yang G, Liu F, Mo Y, Guo Y, editors. Automatic brain tumor detection and segmentation using U-Net based fully convolutional networks. annual conference on medical image understanding and analysis; 2017, Springer.
[15] Chen G, Li Q, Shi F, Rekik I, Pan Z. RFDCR: Automated brain lesion segmentation using cascaded random forests with dense conditional random fields. NeuroImage. Vol. 211, p. 116620, 2020.
[16] Dai X, Lei Y, Fu Y, Curran WJ, Liu T, Mao H, et al. Multimodal MRI synthesis using unified generative adversarial networks. Medical physics. Vol. 47, No. 12, pp. 6343-54, 2020.
[17] Zeineldin RA, Karar ME, Coburger J, Wirtz CR, Burgert O. DeepSeg: deep neural network framework for automatic brain tumor segmentation using magnetic resonance FLAIR images. International journal of computer assisted radiology and surgery. Vol. 15, No. 6, pp. 909-20, 2020.
[18] Srinivas B, Sasibhushana Rao G. Segmentation of Multi-Modal MRI Brain Tumor Sub-Regions Using Deep Learning. Journal of Electrical Engineering & Technology. Vol. 15, pp. 1899-909, 2020.
[19] Li W, Wang G, Fidon L, Ourselin S, Cardoso MJ, Vercauteren T, editors. On the compactness, efficiency, and representation of 3D convolutional networks: brain parcellation as a pretext task. International conference on information processing in medical imaging; 2017: Springer.
[20] Arabi H, Zaidi H. Deep learning-guided estimation of attenuation correction factors from time-of-flight PET emission data. Med Image Anal. Vol. 64, p. 101718, 2020.
[21] Arabi H, Bortolin K, Ginovart N, Garibotto V, Zaidi H. Deep learning-guided joint attenuation and scatter correction in multitracer neuroimaging studies. Human brain mapping, Vol. 41, No. 13, pp 79-3667, 2020
[22] Rastiboroujeni R, Teshnehlab M, Jafari R. A CAD System for Identification and Classification of Breast Cancer Tumors in DCE-MR Images Based on Hierarchical Convolutional Neural Networks. Computational Intelligence in Electrical Engineering, Vol. 6, No. 1, pp. 1-14, 2015
[23] Sheykhivand S, Meshgini S, Mousavi Z. Automatic Detection of Various Epileptic Seizures from EEG Signal Using Deep Learning Networks. Computational Intelligence in Electrical Engineering, Vol. 11, No. 3, pp. 1-12, 2020
[24] Seyyedsalehi Z, Seyyedsalehi A. Bidirectional Layer-by-layer Pre-training Method. Computational Intelligence in Electrical Engineering, Vol. 6, No. 2, pp. 1-10, 2015
[25] Gibson E, Li W, Sudre C, Fidon L, Shakir DI, Wang G, et al. NiftyNet: a deep-learning platform for medical imaging. Computer methods and programs in biomedicine. Vol. 158, pp. 113-22, 2018.
[26] Arabi H, Zaidi H. Deep learning-based metal artefact reduction in PET/CT imaging. Eur Radiol. 2021, In press.
[27] Taha AA, Hanbury A. Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool. BMC medical imaging. Vol. 15, No. 1, p. 29, 2015.
[28] Karimi D, Dou H, Warfield SK, Gholipour A. Deep learning with noisy labels: Exploring techniques and remedies in medical image analysis. Medical Image Analysis. Vol. 62, p. 101759, 2020.