Measurement of Facial Golden Criteria Using Cascade Regression Model for Facial Beauty Analysis

Document Type : Research Article

Authors

1 PhD, Faculty of Biomedical Engineering, Sahand University of Technology, Tabriz, Iran

2 Professor, Faculty of Biomedical Engineering, Sahand University of Technology, Tabriz, Iran

Abstract

Nowadays, facial plastic surgeries are performed for the correction of congenital anomalies, correction of injuries caused by accidents, treatment of burns, and the creation of a beautiful structure in the face. Therefore, surgeons need to analyze and measure quantitative facial metrics. Facial landmark detection plays an important role in the measurement of the facial golden ratio. In this study, 33 landmarks from the frontal view were detected using the Cascade Regression Model (CRM). Face detection is the first step in facial landmark detection to put the initial shape on the face. Therefore, the fuzzy c-means algorithm optimized by Harris Hawk Optimization (HHO) has been used for facial segmentation. In CRM, the regression function is used for mapping input face images to the desired output. For feature extraction, the Histogram Orientation Gradient (HOG) method was applied around the defined landmarks on three channels of RGB color space. Experiment results showed that feature extraction in three channels of RGB color space is more accurate than feature extraction in the gray scale. Also, results confirmed that the proposed method has a high accuracy in facial landmark detection and can be used as an effective method in the Cephalometry analysis of facial soft tissue.

Keywords

Main Subjects


    • مقدمه[1]

    چهره انسان تأثیرگذارترین قسمت ظاهر فیزیکی است و معیاری مهم در روابط اجتماعی محسوب می‌‌شود.

    تحقیقات روان‌شناسی نشان می‌دهند افراد با چهره جذاب در مقایسه با افرادی که چهره جذابی ندارند، معمولاً بالاترین سطح از مقبولیت اجتماعی را دریافت می‌کنند. امروزه جراحی‌های پلاستیک چهره به‌دلیل برطرف‌کردن نقص‌های موجود در ظاهر یک شخص ناشی از مشکلات مادرزادی، تصادفات و ساختار چهره‌ زیبا به‌طور چشمگیری در جوامع افزایش یافته است؛ درنتیجه، رشد و توسعه امکانات سخت‌افزاری و نرم‌افزاری در حوزه جراحی‌های پلاستیک چهره کمک شایانی به متخصصان در آنالیز سفالومتری چهره بیماران در قبل و بعد از عمل جراحی می‌تواند داشته باشد ]3-1[. ساختارهای بافت نرم و سخت بر شکل چهره تأثیر می‌گذارد. در آماده‌‌سازی بیماران برای جراحی‌های پلاستیک چهره، متخصصان به آنالیز بافت سخت و نرم چهره نیازمند هستند. متخصصان می‌توانند از طریق آنالیز سفالومتری (آنتروپومتری) چهره، شرایط بیمار را ارزیابی کنند و براساس آن برنامه‌ریزی مناسبی برای انجام عمل جراحی داشته باشند.

    آشکارسازی نقاط کلیدی چهره یا مکان‌یابی لندمارک‌ها، تشخیص نقاط کلیدی است که ریخت چهره را نشان می‌دهند. مکان‌یابی نقاط کلیدی چهره نقش مهمی در کاربردهای وابسته به پردازش تصویر چهره نظیر (1) شناسایی حالات چهره، (2) تخمین موقعیت سر، (3) انیمیشن چهره و (4) جراحی‌های پلاستیک چهره دارد ]6-4[. لندمارک‌های آناتومیکی نمای روبه‌روی چهره در شکل 1 نشان داده شده است. همچنین، توضیح آناتومیکی این لندمارک‌ها در جدول 1 آمده است. براساس لندمارک‌های نمای روبه‌روی چهره، معیارهای مهم این نما در آنالیز سفالومتری بافت نرم چهره در شکل 2 نشان داده شده‌اند. شکل 2 (الف) نشان‌‌دهندة معیارهای طول و عرض نواحی چشم، بینی و دهان است. شکل 2 (ب) برای اندازه‌گیری طول و عرض چهره و همچنین برای اندازه‌گیری معیار تقارن چهره به کار گرفته می‌شود. شکل‌های 2 (ج و د) برای اندازه‌گیری موضوع مهم با عنوان نسبت طلایی چهره استفاده می‌شود. شکل 2 (و، ی)، به‌ترتیب نشان‌‌دهندة نسبت یک به پنج قسمت افقی چهره و نسبت یک به سه قسمت عمودی چهره است. این نسبت‌ها جزء نسبت‌های مهم در شناسایی یک چهرة استاندارد از لحاظ معیارهای زیبایی چهره هستند. یکی از معیارهای مهم در تناسب چهره، اندازه‌گیری دقیق معیارهای زیباشناسی چهره است. عدد phi، نسبت طلایی چهره، از مهم‌ترین معیارهای زیبایی چهره است که نقش مهمی در فهم برقراری ساختار طبیعی چهره دارد. در یک چهرة طبیعی، این نسبت بیان می‌کند که:

     

    (1)

     

     

    فاصله‌های  تا  در شکل 2 نشان داده شده‌اند.

     

     

    شکل (1): لندمارک‌های آناتومیکی برای اندازه‌گیری معیارهای زیبایی چهره

     

    فهمی و همکاران ]10[ به‌منظور آنالیز آنتروپومتری نمای جانبی چهره، روش کانتور فعال مبتنی بر توزیع گوسین مکانی (LGDF) را برای کاربرد در جراحی‌های رینوپلاستی (جراحی بینی)، جراحی اتوپلاستی (جراحی گوش) و جراحی بلفاروپلاستی ارائه کردند. ابتدا کانتور نمای جانبی چهره با استفاده از روش LGDF استخراج شد. سپس با استفاده از ویژگی متعامدبودن تصاویر و گوشه‌یاب هریس (HDC) 9 لندمارک نمای جانبی چهره آشکارسازی شدند؛ درنهایت، 9 معیار آنتروپومتری چهره به‌منظور کاربرد در جراحی رینوپلاستی اندازه‌گیری شدند. فهمی و شمسی ]11[ برای تخمین پارامترهای گوش، شامل طول، عرض و زاویة خارجی گوش، ابتدا ناحیة گوش را به‌طور دستی مشخص کردند. با توجه به اینکه روش LGDF در حضور غیر-یکنواختی شدت روشنایی عملکرد خوبی نسبت به مدل کانتور فعال استاندارد در استخراج کانتور مرز ناحیة گوش دارد، این روش برای استخراج کانتور ناحیة گوش به کار گرفته شد. درنهایت، براساس ویژگی‌های آناتومیکی ناحیة گوش، 4 لندمارک آناتومیکی آشکارسازی شدند و براساس آن، معیارهای آنتروپومتری گوش برای کاربرد در جراحی اتوپلاستی اندازه‌گیری شدند.

    سینگ و آرورا ]12[ روشی تمام‌خودکار را برای ارزیابی پارامترهای تصاویر ترموگرافی چهره ارائه کردند. ابتدا سیستمی برای گرفتن تصاویر حرارتی طراحی شد. سپس به‌منظور بخش‌بندی تصویر چهره روش آستانه‌گذاری آتسو به کار گرفته شد. پس از شناسایی ناحیة چهره، تعدادی از ویژگی‌های چهره براساس اطلاعات هندسی نمای جانبی چهره آشکارسازی شدند؛ درنهایت، روش معرفی‌شده برای ارزیابی تشخیص مشکلات ناحیة سر و صورت به کار گرفته شد. بخشعلی و شمسی ]13[ برای آنالیز آنتروپومتری نمای جانبی چهره روش مبتنی بر تبدیل رادون را ارائه کردند. ابتدا مدل کانتور فعال برای استخراج کانتور نمای جانبی به کار گرفته شد. از فیلتر میانه برای محاسبة نگاشت لبه استفاده شد. سپس با استفاده از ویژگی‌های سینوگرام در حوزة رادون، با آشکارسازی 7 لندمارک نمای جانبی چهره، 3 معیار آنتروپومتریک برای کاربرد در جراحی رینوپلاستی اندازه‌گیری شدند. لیو و همکاران ]14[ روش مبتنی بر فیزیوگنومی (معیارهای زیباشناسی) چهره را برای آنالیز نسبت‌های چهره ارائه کردند. ابتدا با استفاده از آستانه‌گذاری آتسو ناحیة چهره شناسایی شد. براساس مولفة اتصال تصویر باینری، مرز ویژگی‌های چهره استخراج شد؛ درنهایت، 7 نوع از فیزیوگنومی چهره‌های افراد چینی طبقه‌بندی شدند. سال‌آذر و همکاران ]15[ روش مبتنی بر رنگ را برای آشکارسازی حالات لب در آنالیز جراحی شکافت لب ارائه کردند. ابتدا براساس فضای رنگی HSV و یک روش آستانه‌گذاری سخت، ناحیة دهان آشکارسازی شد. پس از بخش‌بندی لب، کانتور ناحیة لب با استفاده از مدل 8-نقطه استخراج شد؛ درنهایت، روش ارائه‌شده برای آنالیز جراحی شکافت لب به کار گرفته شد. علی سیدصالحی و زهره سیدصالحی ]16[ برای آنالیز تصاویر چهره، با برقراری اتصال بازگشتی در شبکه‌های عصبی خودانجمنی، قابلیت رفتار جاذب‌گونه را به شبکه اضافه کردند. روش ارائه‌شده نشان داد برای یک نورون با تابع غیرخطی تانژانت هیپربولیک، با برقراری این نوع اتصال بازگشتی، همواره در محل نمونه تعلیم داده‌شده و قرینه آن دو جاذب ایجاد می‌شود؛ اما در تابع سیگموئید برای محدوده خاصی جاذب تشکیل می‌شود. با رشد و توسعة تکنولوژی‌های پردازش تصویر، مطالعات انجام‌گرفته روی زیبایی‌های چهره به دستاوردهای مهمی در زمینة پیش‌بینی چهره، زیباسازی چهره، زیباسازی پوست چهره و ... رسیده است. ژانگ و همکاران ]17[ به‌منظور ارزیابی کمی چهره مدل مبتنی بر ویژگی‌های چهره را ارائه کردند. در روش ارائه‌شده ابتدا ویژگی هندسی و فضای شکل چهرة انسان تعریف شد. سپس با استفاده از مدل ریخت فعال (ASM) نقاط کلیدی چهره استخراج شد؛ درنهایت، زیبایی چهره روی تصاویر چهرة مردان و زنان آنالیز شد. شو لیو و همکاران ]18[ به‌منظور ارزیابی زیبایی چهره، مدل هیبریدی 2.5D را ارائه کردند. به‌منظور تشخیص اثر مدل محاسباتی، ویژگی‌های انتخاب‌شده از طریق روش رگرسیون بردار پشتیبان (SVR) به یک معیار زیبایی نگاشت شده‌اند. در روش ارائه‌شده با استفاده از روش ASM، 82 نقطة کلیدی از نمای روبه‌رو و 40 نقطة کلیدی از نمای جانبی چهره استخراج شده است؛ درنهایت، به‌منظور عملکرد مدل محاسباتی از SVR استفاده شد که در آن ورودی‌های مدل، مؤلفه‌های اصلی استخراج‌شدة ویژگی‌های هندسی چهره هستند. باب ژانگ و همکاران ]19[ یک مطالعه جامع شامل پیش‌بینی زیبایی چهره، زیباسازی شکل، پوست و میانگین چهره به‌منظور آنالیز زیبایی چهره انجام داده‌اند. آنالیز زیبایی براساس ویژگی‌های هندسی، بافت، مدل نسبت طلایی و مدل میانگین چهره انجام شده است. فان و همکاران ]20[ برای محاسبة زیبایی چهره، روش مبتنی بر یادگیری عمیق رسوبی (DRL) را ارائه کردند. ResNet استاندارد برای چالش‌های طبقه‌بندی به کار گرفته شده‌اند. در این مطالعه، نسخه وفقی‌شده این معماری یعنی نگه‌داشتن تمامی لایه‌ها به‌جز لایة تماماً متصل به کار گرفته شده است. شبکه مدنظر شامل لایة پیچشی، لایة بیشینه تجمعی و چهار بلوک گلوگاه پیچشی است. نرمال‌سازی مسیر بعد از هر لایة پیچشی انجام شده است. عمق معماری شبکه وابسته به تعداد چهار بلوک بوده است؛ به‌طوری‌که برای لایه‌های 50 و 101 به‌ترتیب تعدا بلوک‌ها 2، 5، 3، 2 و 2، 22، 3، 2 در نظر گرفته شده است.

    مکان‌یابی سه‌بعدی نقاط کلیدی چهره با اسکن سطوح روشی رایج در آنالیز سفالومتری بافت نرم چهره است. فوتوگرامتری سه‌بعدی به‌طور معمول برای ارزیابی تغییرات حجمی بعد از عمل جراحی چهره به کار گرفته می‌شود. Bugaighis و همکاران ]21[ برای مشخص‌کردن تفاوت جنسیتی در فرم چهره روش مبتنی بر آنالیز سه‌بعدی تصویر را ارائه کردند. در این مطالعه، 39 لندمارک آناتومیکی با استفاده از نرم‌افزار MorphAnalyser مکان‌یابی شد. عدم تقارن سه‌بعدی لندمارک‌های چهره با استفاده از انعکاس هر اسکن چهره روی خودش و مقایسة نسخه‌های اصلی و منعکس‌شده ارزیابی شد. در گام بعدی آنالیز پروکراستس برای به دست آوردن پارامترهای انتقال، چرخش و مقیاس به کار گرفته شد. فاصله بین هر لندمارک و مختصات لندمارک منعکس‌شده، اندازه‌گیری و عدم تقارن برای هر لندمارک محاسبه شد. سپس یک چهرة متوسط برای مردان و زنان با استفاده از نرم‌افزار مدنظر بازسازی شد. لیپولد و همکاران ]22[ روش مبتنی بر تشخیص انحراف بین کانتور نمای جانبی در قبل و بعد عمل جراحی چهره را ارائه کردند. اندازه‌گیری‌های مدنظر در این پژوهش با استفاده از سیستم FastSCAN انجام شده است. انحنای کانتور نمای جانبی براساس رویکرد به‌کارگیری یک همسایگی در اطراف نقاط مدنظر از چهره استخراج شد؛ درنهایت، تغییرات انحنای مدنظر در قبل و بعد عمل جراحی اندازه‌گیری شدند. مرکان و همکاران ]23[ رویکرد سه‌بعدی برای آنالیز ریخت بینی در کودکان مبتلا به شکاف لب را ارائه کردند. در این مطالعه، تصاویر سه‌بعدی با استفاده از سیستم 3dMD أخذ شدند. با استفاده از این تصاویر انحراف پایه بینی، کلوملا و تقارن نوک بینی اندازه‌گیری شدند.

    با توجه به اهمیت آنالیز آنتروپومتری چهره برای کمک به متخصصان جراحی‌های ترمیمی و زیبایی، هدف اصلی این مقاله برقراری ارتباط بین حوزه پزشکی و مهندسی است تا با ارائه روش مبتنی بر الگوریتم‌های هوشمند گامی مهم در حوزه آنالیز جراحی‌های چهره برداشته شود. در ادامة مقاله، روش پیشنهادی برای این منظور معرفی خواهیم کرد.

     

     

     

     

     

    جدول (1): توصیف لندمارک‌های آناتومیکی چهره ]9-7[.

    لندمارک

    تعریف

    لندمارک

    تعریف

    F1

    نقطة میانی خط رویش مو

    F18

    مرکز مردمک چشم راست.

    F2

    جانبی‌ترین نقطه روی قوس استخوان گونه (راست)

    F19

    محل اتصال بیرونی شیار چشم چپ

    F3

    جانبی‌ترین نقطه در زاویة فک (راست)

    F20

    قسمت بالایی پلک چشم چپ

    F4

    منتون: پایین‌ترین نقطه در خط میانی روی مرز پایین چانه

    F21

    محل اتصال درونی شیار چشم چپ

    F5

    جانبی‌ترین نقطه در زاویة فک (چپ)

    F22

    قسمت پایینی پلک چشم چپ

    F6

    جانبی‌ترین نقطه روی قوس استخوان گونه (چپ)

    F23

    مرکز مردمک چشم چپ

    F7

    جانبی‌ترین نقطة ابروی راست

    F24

    محل اتصال حد تحتانی تیغه‌ی بینی و سطح لب فوقانی

    F8

    بالاترین نقطة ابروی راست

    F25

    جانبی‌ترین نقطه روی کانتور بال بینی (چپ).

    F9

    درونی‌ترین نقطة ابروی راست

    F26

    جانبی‌ترین نقطه روی کانتور بال بینی (راست)

    F10

    برجسته‌ترین نقطه خط میانی بین ابروها

    F27

    گوشه‌ی بیرونی (راست) دهان.

    F11

    درونی‌ترین نقطة ابروی چپ

    F28

    نقطه‌ای برجسته‌ روی فیلتروم در لب بالا

    F12

    بالاترین نقطة ابروی چپ

    F29

    نقطة میانی در بالای خط ورمیلیون

    F13

    جانبی‌ترین نقطة ابروی چپ

    F30

    نقطه‌ای برجسته‌ روی فیلتروم در لب بالا

    F14

    محل اتصال بیرونی شیار چشم راست

    F31

    گوشة بیرونی (چپ) دهان

    F15

    قسمت بالایی پلک چشم راست

    F32

    نقطه بین مرز ورمیلیون لب پایین

    F16

    محل اتصال درونی شیار چشم راست

    F33

    نقطة میانی شکاف لب هنگام بسته‌شدن لب‌ها

    F17

    قسمت پایینی پلک چشم راست

    -

    -

     


     

    شکل (2): معیارهای آنالیز سفالومتری نمای روبه‌رو چهره. (الف): معیار طول و عرض نواحی چشم، بینی و دهان. (ب): معیار بررسی تقارن چهره و بینی. (ج، د): معیارهای اندازه‌گیری نسبت طلایی چهره. (و): بررسی نسبت یک-پنج عرض چهره. (ی): بررسی نسبت یک-سه طول چهره.

     


    2- روش پیشنهادی

    مکان‌یابی دقیق نقاط کلیدی (لندمارک) چهره، گامی ضروری در برنامه‌ریزی جراحی‌های پلاستیک چهره است. در آنالیز جراحی‌های چهره، لندمارک‌ها می‌توانند به‌صورت دستی یا خودکار انتخاب شوند. انتخاب لندمارک‌ها به‌صورت دستی زمان‌بر و سخت است. همچنین، اندازه‌گیری معیارها و نسبت‌های طلایی چهره نقش مهمی در آنالیز جراحی‌های بازسازی چهره دارد؛ بنابراین، هدف اصلی این مقاله استخراج نقاط آناتومیکی چهره (شکل 1) برای آنالیز سفالومتری بافت نرم و کاربرد در جراحی‌های پلاستیک چهره است. بلوک‌دیاگرام روش پیشنهادی در شکل 3 نشان داده شده است

    ساختار مقاله به‌صورت زیر تدوین شده است. شناسایی ناحیة چهره و قرارگیری مدل ریخت اولیه در آن اولین گام روش پیشنهادی به‌منظور آشکارسازی نقاط آناتومیکی چهره است. در این مطالعه، برای شناسایی محدودة چهره الگوریتم خوشه‌بند فازی (FCM) به کار گرفته می‌شود. خوشه‌بند فازی یک الگوریتم مؤثر در بخش‌بندی تصویر است؛ اما حساسیت به مقدار اولیه ممکن است باعث شود این الگوریتم در کمینه مکانی بیافتد. به‌منظور غلبه بر این مسئله، الگوریتم فراابتکاری شاهین هریس (HHO) به کار گرفته می‌شود. در بخش 2-1 الگوریتم HHO را توضیح خواهیم داد. در بخش 2-2 مدل مبتنی بر رگرسیون آبشاری (CRM) برای آشکارسازی 33 لندمارک آناتومیکی چهره معرفی خواهد شد. در بخش 3 نتایج پیاده‌سازی توصیف داده خواهند شد. در بخش 3-1 به مقایسه عملکرد الگوریتم HHO در بهینه‌سازی خوشه‌بند FCM با سایر روش‌های بهینه‌سازی الگوریتم خوشه‌بند فازی برای بخش‌بندی چهره اشاره خواهیم کرد. همچنین، در بخش 3-2 دقت روش پیشنهادی در آشکارسازی لندمارک‌های چهره و اندازه‌گیری نسبت‌های طلایی آن ارائه خواهد شد؛ درنهایت، در بخش 4 مقاله نتیجه‌گیری و پیشنهادات ارائه خواهند شد.

     


     

    شکل (3): بلوک-دیاگرام روش پیشنهادی جهت آشکارسازی لندمارک‌های نمای روبروی چهره به‌منظور کاربرد در جراحی‌های پلاستیک چهره

     


    1-2- بهینه‌سازی شاهین هریس

    حیدری و همکاران ]24[ الگوریتم شاهین هریس (HHO) را ارائه کردند. ایدة اصلی بهینه‌سازی شاهین هریس از رفتار مشارکتی و سبک تعقیب شاهین هریس در شکار طعمه‌های درحال فرار، در بیشتر موارد خرگوش‌ها، الهام گرفته شده است. براساس مطالعات لویس، شاهین‌ها می‌توانند بین باهوش‌ترین پرندگان طبیعت قرار داده شوند. روش اصلی شاهین هریس برای شکار یک طعمه به‌عنوان استراتژی هفت قتل شناخته شده است. در این استراتژی هوشمند، تعدادی از شاهین‌ها به‌طور مشارکتی تلاش می‌کنند از جهت‌های مختلف حمله کنند و به‌طور هم‌زمان روی یک خرگوش درحال فرار شناسایی‌شده همگرا شوند. حمله می‌تواند در چندین ثانیه تکمیل شود؛ اما گاهی‌اوقات براساس توانایی‌ها و رفتارهای طعمة درحال فرار، استراتژی هفت قتل ممکن است چندگانه، طول کوتاه، یورش سریع در نزدیکی طعمه در طول چند دقیقه باشد. شاهین هریس وابسته به طبیعت دینامیک و الگوهای طعمة درحال فرار می‌تواند انواع مختلف روش‌ تعقیب را نشان دهد که با عنوان یورش غافل‌گیرانه شناخته شده است. هنگامی که بهترین شاهین یا رهبر گروه طعمه را گم کند، شاهین‌ها استراتژی تعویض را به کار خواهند برد. در این حالت، فرایند تعقیب توسط یکی از اعضای گروه ادامه خواهد یافت. این روش برای گیج‌کردن خرگوش درحال فرار مناسب است. مزیت اصلی استراتژی همکاری این است که شاهین‌های هریس می‌توانند خرگوش شناسایی‌شده را تا خسته‌شدن طعمه دنبال کنند که این کار آسیب‌پذیری طعمه را افزایش خواهد داد. شاهین‌های هریس می‌توانند شکار را از طریق چشمان قدرتمند خود ردیابی و شناسایی کنند؛ اما گاهی‌اوقات طعمه به‌راحتی قابل دیده‌شدن نیست. در این حالت، شاهین‌ها منتظر می‌مانند، مشاهده می‌کنند و برای شناسایی یک شکار اطراف صحرا را تماشا می‌کنند. این کار ممکن است چندین ساعت طول بکشد.

    در الگوریتم HHO، در هر مرحله شاهین‌ها و طعمة هدف به‌ترتیب به‌عنوان جواب‌های انتخابی و بهترین جواب انتخابی در نظر گرفته می‌شوند. زمانی که شاهین‌ها نمی‌توانند شکار را ببینند، روی تعدادی از مکان‌ها اوج می‌گیرند و براساس دو رویکرد (1) اوج‌گیری شاهین‌ها براساس موقعیت سایر اعضای خانواده و (2) اوج‌گیری شاهین‌ها براساس موقعیت خرگوش (طعمه) شکار را شناسایی می‌کنند؛ درنتیجه، موقعیت جدید شاهین‌ها به‌صورت زیر به‌روزرسانی خواهد شد:

    (2)

     

     

    که در آن، ،  و  به‌ترتیب، موقعیت تصادفی یک شاهین از جمعیت‌های فعلی، موقعیت طعمه (خرگوش) و میانگین موقعیت جمعیت‌های فعلی شاهین‌ها هستند.  اعداد تصادفی در محدودة  هستند. همچنین، پارامتر q احتمال برای هر استراتژی اوج‌گیری را نشان می‌دهد.

    در الگوریتم HHO، فاز اکتشاف می‌تواند براساس انرژی درحال فرار طعمه به فاز استخراج تبدیل شود. انرژی خرگوش در طول فاز فرار به‌طور چشمگیری کاهش می‌یابد. انرژی درحال فرار طعمه به‌صورت زیر مدل می‌شود:

    (3)

     

     

    که در آن،  و T به‌ترتیب انرژی اولیه طعمة درحال فرار و بیشینة تعداد تکرار را نشان می‌دهند.  به‌طور تصادفی در هر تکرار در بازة  کاهش می‌یابد. اگر مقدار  از صفر تا 1- کاهش یابد، انرژی خرگوش تضعیف می‌شود و هنگامی که مقدار  از صفر تا 1+ افزایش یابد، انرژی خرگوش افزایش خواهد یافت. به عبارت دیگر، هنگامی که  است، فاز اکتشاف رخ می‌دهد، درحالی‌که در فاز استخراج  خواهد بود.

    در فاز استخراج، شاهین‌های هریس یورش غافل‌گیرانه را انجام می‌دهند. در این حالت، طعمه‌ها اغلب تلاش می‌کنند که از موقعیت‌های خطرناک فرار کنند؛ با وجود این، استراتژی‌های متفاوت تعقیب در موقعیت‌های واقعی اتفاق خواهد افتاد. براساس رفتار فرار - تعقیب، 4 استراتژی احتمالی (1) محاصرة نرم، (2) محاصرة سخت، (3) محاصرة نرم با یورش سریع تدریجی و (4) محاصرة سخت با یورش سریع تدریجی وجود دارد. طعمه‌ها همیشه درحال فرار از موقعیت‌های خطرناک هستند. فرض می‌شود پارامتر r احتمال یک طعمه درحال فرار از موقعیت‌های خطرناک است. هنگامی که  است، طعمه قبل از یورش غافل‌گیرانه در فرار موفق است و هنگامی که  است، طعمه قبل از یورش غافل‌گیرانه در فرار موفق نیست. به عبارت دیگر، وابسته به انرژی باقی‌‌ماندة طعمه، شاهین‌ها از جهت‌های مختلف به‌صورت نرم یا سخت طعمه را محاصره خواهند کرد. برای مدل‌کردن استراتژی محاصره، پارامتر E به کار گرفته می‌شود. در این حالت، هنگامی که ، محاصره نرم و در صورتی که  محاصرة سخت رخ خواهد داد.

    هنگامی که  و  است، خرگوش هنوز دارای انرژی کافی برای فرار از طریق پرش‌های گمراه‌‌کننده به‌صورت تصادفی است. در طول این فرایند، شاهین‌های هریس خرگوش را تا زمانی محاصره می‌کنند که خسته شود و در آخر شاهین‌ها یورش غافل‌گیرانه را به کار خواهند برد. این رفتار به‌صورت زیر مدل می‌شود:

    (4)

     

     

    که در آن، J شدت پرش تصادفی خرگوش را نشان می‌دهد.  یک عدد تصادفی در محدودة  است.

    هنگامی که  و  است، طعمه خسته می‌شود و انرژی کافی برای فرار را نخواهد داشت. درمجموع، شاهین‌های هریس به‌صورت سخت طعمه هدف را برای انجام یورش غافل‌گیرانه محاصره می‌کنند. این رفتار به‌صورت زیر مدل خواهد شد:

    (5)

     

     

    در الگوریتم HHO، برای مدل‌کردن الگوهای فرار خرگوش، پرواز لوی به کار گرفته شده است. پرواز لوی برای تقلیدکردن حرکات فریبندة زیگزاگی خرگوش در طول فاز فرار و یورش‌های نامنظم، ناگهانی و سریع شاهین‌های اطراف طعمة درحال فرار به کار گرفته می‌شود. نشان داده شده است فعالیت‌های مبتنی بر LF، رویکرد جست‌وجوی بهینه برای شکارچیان در شرایط غیرمخرب اکتشاف هستند. همچنین، نشان داده شده است الگوهای مبتنی بر LF می‌توانند در فعالیت‌های تعقیب حیوانات مانند میمون‌ها و کوسه‌ها دیده شوند. در الگوریتم HHO، فرض می‌شود در صورت گرفتن طعمه از سوی شاهین‌ها در شرایط رقابتی، شاهین‌ها می‌توانند به‌طور تدریجی بهترین یورش ممکن به سمت خرگوش را انتخاب کنند. سپس نتیجة یورش فعلی با یورش قبلی مقایسه خواهد شد. اگر نتیجة یورش خوب نباشد، شاهین‌ها همچنان به یورش‌های نامنظم، ناگهانی و سریع خود ادامه خواهند داد. فرض می‌شود شاهین‌ها می‌خواهند یورش مبتنی بر الگوهای LF را با استفاده از قانون زیر انجام دهند:

    (6)

     

     

    که در آن، S و D به‌ترتیب، بعد مسئله و بردار تصادفی در اندازة  هستند. در این صورت تابع پرواز لوی به‌صورت زیر محاسبه خواهد شد:

    (7)

     

     

    که در آن، u و ʋ مقادیر تصادفی در محدودة  است و β نیز یک پارامتر ثابت با مقدار 5/1 است؛ درنتیجه، هنگامی که هنوز  است، اما  است، طعمه انرژی کافی برای یک فرار موفقیت‌آمیز را دارد و همچنان یک محاصرة نرم قبل از یورش غافل‌گیرانه اعمال می‌شود. استراتژی نهایی برای به‌روزرسانی موقعیت شاهین‌ها در فاز محاصرة نرم به‌صورت زیر خواهد بود:

    (8)

     

     

    هنگامی که  و  است، خرگوش انرژی کافی برای فرار ندارد و یک آستانة سخت قبل از یورش غافل‌گیرانه برای کشتن خرگوش اعمال می‌شود. در این فرایند، شاهین‌ها تلاش می‌کنند فاصلة متوسط موقعیت خود را با خرگوش درحال فرار کاهش دهند؛ درنتیجه، استراتژی نهایی برای به‌روزرسانی موقعیت شاهین‌ها در فاز محاصرة سخت به‌صورت زیر انجام خواهد شد:

    (9)

     

     

    2-2- آشکارسازی نقاط کلیدی چهره

    آشکارسازی لندمارک چهره، مکان‌یابی نقاط کلیدی چهره، یک گام پیش‌پردازش ضروری در سیستم‌های آنالیز خودکار چهره است. الگوریتم‌های آشکارسازی لندمارک‌های چهره در حالت کلی می‌توانند به دو دسته (1) روش‌های مبتنی بر دوبعدی و (2) روش‌های مبتنی بر سه‌بعدی طبقه‌بندی شوند. در روش‌های مبتنی بر دوبعدی، ابتدا ناحیة چهره با یک پنجرة مستطیلی شناسایی می‌شود و سپس مکان لندمارک‌های از قبل تعریف‌شده در داخل ناحیة چهره به‌روزرسانی می‌شوند. درمقابل، روش‌های سه‌بعدی روی داده‌های سه‌بعدی چهره، مانند مش‌های سه‌بعدی چهره اعمال می‌شوند.

    الگوریتم‌های آشکارسازی نقاط کلیدی چهره می‌توانند به دو دسته طبقه‌بندی شوند: (1) مدل ریخت فعال (ASM) و مدل ظاهر فعال (AAM) نقاط کلیدی چهره را براساس رویکردهای بهینه‌سازی آشکار می‌کنند. این روش‌ها فقط روی پایگاه داده‌های خاص کار می‌کنند. (2) روش‌های مبتنی بر رگرسیون، به‌خصوص رگرسیون آبشاری (CRM)، از تابع رگرسیون استفاده می‌کنند که تصاویر چهرة ورودی را به خروجی مدنظر نگاشت می‌کند. مدل‌های مبتنی بر رگرسیون موقعیت لندمارک‌های چهره را به‌طور مستقیم از تصاویر چهره تخمین می‌زنند. در این روش‌ها، یک مسئله رگرسیون استاندارد مطرح می‌شود که در آن مقادیر هدف اختلاف بین بردارهای یک ریخت اولیه و ریخت واقعی براساس ویژگی‌های استخراج‌شده از تصاویر هستند. ریخت اولیه معمولاً میانگین ریخت‌های دادة آموزشی در نظر گرفته می‌شود ]27-25[.

    ریخت یک چهره از طریق مجموعه لندمارک‌های از قبل تعریف‌‌شده به‌صورت  تعریف می‌شود که L تعداد لندمارک است. برای تصاویر آموزشی  با ریخت چهرة مقداردهی‌‌شده ، ابتدا ویژگی‌های مرتبط با ریخت  با استفاده از تابع نگاشت ویژگی  استخراج می‌شوند. سپس مدل تمایزی (DM)، تابع نگاشت، از طریق کمینه‌کردن تابع هزینه زیر آموزش داده می‌شود:

    (10)

     

     

    که در آن،  موقعیت ریخت واقعی nاُمین تصویر آموزشی و  مشخصات ریخت به‌روزرسانی‌‌شده است. در CRM، تابع نگاشت ɸ یک رگرسیون قوی است که از طریق توالی رگرسورهای ضعیف در آبشار تشکیل شده است؛ به‌طوری‌که:

    (11)

     

     

    که در آن، ، mاُمین رگرسور ضعیف،  با F ویژگی،  مؤلفه بایاس و F بردار ویژگی وابسته به ریخت  است. همان‌طور ‌که در شکل 4 نشان داده شده است، در مرحلة آموزش اطراف هر لندمارک مشخص‌شده یک بردار ویژگی استخراج می‌شود. به‌منظور استخراج ویژگی روش هیستوگرام گرادیان جهت‌دار (HOG) به کار گرفته می‌شود. همچنین، فرایند به‌کارگیری مدل در مرحلة ارزیابی داده‌ها برای رگرسیون آبشاری در شکل 5 نشان داده شده است.

    با فرض بر آموزش یک رگرسور قوی ɸ، برای یک تصویر ورودی I داده شده و یک ریخت اولیه ، ابتدا اولین رگرسور ضعیف ریخت مدنظر تا  تخمین زده می‌شود. سپس  به رگرسور ضعیف بعدی انتقال داده می‌شود تا زمانی که ریخت نهایی به دست آید. درواقع، CRM یک الگوریتم تکراری است که در آن mاُمین ریخت از طریق رابطه زیر تخمین زده می‌شود:

    (12)

     

     

     

    شکل (4): نحوه استخراج ویژگی اطراف لندمارک‌های تعریف‌شده با استفاده از هیستوگرام گرادیان جهت‌دار

     

    3-2- جزئیات پیاده‌سازی

    در این مطالعه، برای آنالیز روش پیشنهادی، 150 تصاویر نمای روبه‌رو پایگاه دادة دانشگاه صنعتی سهند (SUT) ]28[ به کار گرفته شده‌اند. این تصاویر از دو نمای روبه‌رو و جانبی گرفته شده‌اند که نسبت به هم متعامد هستند. تصاویر حاوی نشانگری است که با استفاده از آن می‌توان پیکسل‌ها را براساس سانتی‌متر بیان کرد. اندازه واقعی تصاویر 4000×3000 است که به مقیاس 400×300 تغییر اندازه داده شده‌اند. به‌منظور گزارش نتایج روش پیشنهادی و مقایسه آن با سایر روش‌ها برای بخش‌بندی تصاویر رنگی چهره، پیکسل‌های پوست و غیرپوست برچسب‌گذاری شده‌اند. 100 تصویر برای آموزش و 50 تصویر برای ارزیابی روش پیشنهادی به‌منظور آشکارسازی 33 لندمارک آناتومیکی نمای روبه‌روی چهره به کار گرفته شده‌اند. جزئیات روش پیشنهادی در آموزش و ارزیابی تصاویر، به‌ترتیب در الگوریتم 1 و الگوریتم 2 آمده‌اند. همان‌طور‌ که در شکل 5 نشان داده شده است، روش CRM از طریق M رگرسور آبشاری تشکیل می‌شود که از یک ریخت اولیه شروع می‌شود و به‌طور تکراری درون ناحیة چهره لندمارک‌های مدنظر را تخمین می‌زند. در این مقاله، تعداد لایه‌های رگرسیون 5 انتخاب شده است.

    مطابق الگوریتم 1، در فاز آموزش، ابتدا لندمارک‌های آناتومیکی چهره روی تصاویر آموزشی برچسب زده می‌شوند. در مرحله بعد، روش پیشنهادی FCMHHO برای شناسایی ناحیة چهره به کار گرفته و لندمارک‌ها داخل ناحیة چهره قرار داده می‌شوند. به عبارت دیگر، لندمارک‌های آناتومیکی به درون ناحیة چهره پروجکت می‌شوند. در مرحله آخر، پارامترهای  از طریق رابطه (11) تخمین زده می‌شوند. مؤلفه بایاس در ابتدا به‌صورت واحد به انتهای سطرهای بردار ویژگی الحاق می‌شود. مطابق الگوریتم 2، در فاز ارزیابی برای تصویر جدید، ابتدا روش پیشنهادی FCMHHO برای شناسایی ناحیة چهره به کار گرفته و میانگین تمامی ریخت‌های داده‌های آموزشی به درون ناحیة چهره پروجکت می‌شود. سپس از طریق رابطه (12) مکان 33 لندمارک در طول 5 رگرسور تخمین زده می‌شود. برای استخراج ویژگی، در هر دو فاز آموزش و ارزیابی، روش HOG اطراف لندمارک‌ها در هر سه مؤلفه R، G و B فضای رنگی RGB، اعمال و یک بردار ویژگی به اندازه 66×19008 ایجاد می‌شود. در بخش نتایج نشان خواهیم داد که دقت آشکارسازی لندمارک‌ها با استخراج ویژگی در فضای رنگی RGB نسبت به استخراج ویژگی در فضای خاکستری بالا است.

     

    الگوریتم (1):فرایند آموزش مدل رگرسیون آبشاری.

    1: for n = 1:N do

    2:   Segment the Facial Image Using FCM+HHO

    3:   Obtain the Coordinates of Face Region

    4:   Project the Facial Landmarks to the Face Region

    5:    Compute HOG Features

    6:    Obtain the Parameters Using Eq. (11)

    6: end for

     

    الگوریتم(2): به‌کارگیری مدل ایجادشده برای پیش‌بینی لندمارک‌های چهره در تصویر جدید.

    1: for m = 1:M do

    2:    Segment the Facial Image Using FCM+HHO

    3:    Obtain the Coordinates of Face Region

    4:    Project the Mean of Shapes to the Face Region

    5:    Compute HOG Features

    6:   Update Landmarks Using Eq. (12)

    7: end for

     


     

     

    شکل (5): نمایش تصویر عملکرد الگوریتم رگرسیون آبشاری در پیش‌بینی لندمارک‌های چهره


    3- نتایج پیاده‌سازی

    در این بخش، روش پیشنهادی در دو قسمت ارزیابی می‌شود. در قسمت اول، نتایج روش پیشنهادی FCMHHO با سایر روش‌های خوشه‌بند فازی بهینه‌سازی‌‌شده با الگوریتم‌های فراابتکاری مقایسه می‌شود. در قسمت دوم، نتایج آنالیز سفالومتری بافت نرم چهره ارائه می‌شود. این قسمت شامل دو بخش است. در بخش اول، میانگین فاصلة اقلیدسی لندمارک‌های پیش‌بینی‌‌شده روی داده‌های ارزیابی ارائه می‌شود. در معیار اقلیدسی، فاصله بین لندمارک‌های مشخص‌شده به‌صورت دستی و لندمارک‌های به‌دست‌آمده از طریق روش پیشنهادی محاسبه می‌شود. در بخش دوم، دقت معیارهای آنتروپومتریک نشان داده‌شده در شکل 2 گزارش می‌شود.  

     

    1-3- نتایج بخش‌بندی

    بیشتر الگوریتم‌های خوشه‌بند فازی، تابع هزینه زیر را کمینه می‌کنند:

    (13)

     

     

    به‌منظور به‌روزرسانی پارامترهای تابع عضویت و مراکز خوشه، ابتدا تابع هزینه به فرم دو-گان، نوشته و نسبت به آنها از تابع هزینه مشتق گرفته می‌شود؛ درنتیجه، پارامترهای  و  به‌صورت زیر محاسبه می‌شوند:

    (14)

     

     

    در تمامی الگوریتم‌های فراابتکاری  به‌عنوان تابع هزینه در نظر گرفته می‌شود و هدف اصلی بهینه‌کردن پارامترهای الگوریتم FCM است. الگوریتم HHO توانایی بالایی در بهینه‌کردن مسائل با ابعاد بالا دارد. الگوریتم با جمعیت اولیه به‌عنوان موقعیت شاهین‌ها شروع می‌شود و هدف این است که شاهین‌ها موقعیت خود را رفته‌رفته به موقعیت طعمه (خرگوش) نزدیک کنند. در نظر گرفتن درجه عضویت  به‌عنوان جمعیت اولیه برای هر عامل جست‌وجو یک مسئله بهینه‌سازی گسسته برای الگوریتم FCM است. در این مطالعه، تعداد جمعیت برای الگوریتم‌های فراابتکاری، 12 و تعداد مراحل تکرار 40 انتخاب شده است. همچنین، تعداد مراکز خوشه به‌صورت تجربی 4 در نظر گرفته شده است. در سال‌های اخیر، تحقیقات گسترده‌ای ]34-29[ در زمینة بهینه‌سازی الگوریتم FCM با استفاده از الگوریتم‌های فراابتکاری انجام شده‌اند. با توجه به بالابودن بُعد مسئله در حالت در نظر گرفتن الگوریتم FCM به‌عنوان یک مسئله بهینه‌سازی گسسته، در ادامه نشان خواهیم داد الگوریتم HHO توانایی بالایی در بهینه‌سازی مسائل با بُعد بالا دارد.

    فضاهای رنگی چهره نقش خیلی مهمی در مدل‌کردن پوست چهره برای بخش‌بندی تصویر دارند. انواع مختلفی از فضاهای رنگی مانند YcbCr و HSV به‌منظور مدل‌کردن پوست چهره به کار گرفته می‌شوند. در این مقاله، از فضای رنگی YPbPr برای مدل‌کردن پوست چهره استفاده شده است. فضای رنگی YPbPr، مدل آنالوگ فضای رنگی YCbCr است ]35[. تبدیل خطی از فضای رنگی RGB به فضای رنگی YPbPr به‌صورت زیر است:

    (15)

     

     

    برای ارزیابی کمی عملکرد روش پیشنهادی (FCMHHO) در بخش‌بندی پوست چهره از 4 معیار مختلف استفاده کرده‌ایم. معیار خطای پوست (SE)، تعداد پیکسل‌های پوست شناسایی‌‌شده به‌عنوان غیرپوست به‌صورت خودکار تقسیم بر تعداد پیکسل‌های پوست بخش‌بندی‌شده به‌صورت دستی است. معیار خطای غیرپوست (NSE)، تعداد پیکسل‌های غیرپوست شناسایی‌شده به‌عنوان پوست به‌صورت خودکار تقسیم بر تعداد پیکسل‌های غیرپوست بخش‌بندی‌شده به‌صورت دستی است. معیار S، نسبت پیکسل‌های پوست درست تشخیص داده شده است. براساس دو پارامتر SE و NSE، دو معیار دیگر را نیز می‌توان به‌صورت زیر تعریف کرد:

    (16)

     

     

    معیار  هر دو نوع خطا را یکجا محاسبه می‌کند. همچنین، معیار  نتیجة کل آشکارسازی پوست چهره را ارزیابی می‌کند. براساس رابطه 16، الگوریتمی که پایین‌ترین مقدار در معیارهای  و  و بالاترین مقدار در معیار S را داشته باشد، عملکرد مناسب را در بخش‌بندی تصویر ارائه خواهد کرد. مطابق جدول 1، روش پیشنهادی با دقت 14/96 درصد بهترین عملکرد را در شاخص S نسبت به سایر روش‌های مقایسه‌شده دارد. مطابق با معیارهای  و ، روش پیشنهادی عملکرد بهتری در شناسایی پیکسل‌های غیرپوست به‌طور صحیح دارد. براساس نتایج به‌دست‌آمده مشاهده می‌شود که الگوریتم‌های گرگ خاکستری (GWO) و HHO توانایی بالایی در بهینه‌سازی مسائل با بُعد بالا دارند. در مقابل، بهینه‌سازی ازدحام ذرات (PSO) عملکرد قابل قبولی در بهینه‌سازی الگوریتم FCM به‌صورت گسسته ندارد. الگوریتم FCM را در دو حالت پیوسته و گسسته می‌توان به‌صورت یک مسئله بهینه‌سازی مطرح کرد. در حالت پیوسته، مسئله با بُعد پایین، مراکز خوشه به‌عنوان عامل جست‌وجو برای الگوریتم‌های فراابتکاری، در نظر گرفته و ماتریس عضویت به‌روزرسانی می‌شود. نتایج نشان می‌دهند الگوریتم‌های GWO و HHO برای بهینه‌سازی مسائل با بُعد بالا مناسب هستند.

     

    2-3- نتایج آنالیز نسبت‌های طلایی چهره

    به‌منظور آنالیز روش پیشنهادی در مکان‌یابی لندمارک، فاصلة اقلیدسی زیر به کار گرفته می‌شود:

    (17)

     

     

    که در آن،  و  به‌ترتیب مختصات لندمارک‌های به‌دست‌آمده به‌صورت خودکار و دستی هستند. همچنین، به‌منظور مشخص‌کردن دقت (A) و خطای (E) روش ارائه‌‌شده در اندازه‌گیری پارامترهای ذکرشده، رابطه (18) به کار گرفته می‌شود:

    (18)

     

     

     و  به‌ترتیب اندازه‌گیری دستی و اندازه‌گیری با روش پیشنهادی هستند که در محدودة [0,1] نرمال‌سازی شده‌اند.

    جدول 2 مقایسة نقاط کلیدی استخراج‌‌شده با استفاده از CRM استاندارد و روش پیشنهادی را براساس فاصلة اقلیدسی نشان می‌دهد. نتایج به وضوح نشان می‌دهند روش پیشنهادی در مکان‌یابی تمامی لندمارک‌ها عملکرد بهتری دارد. جدول 2 تأیید می‌کند اعمال روش HOG روی سه کانال R، G و B در فاز آموزش داده‌ها دقت بیشتری نسبت به اعمال روش HOG روی فضای خاکستری تصویر دارد. به‌جز لندمارک F12، عملکرد فاصلة اقلیدسی تمامی لندمارک‌های مکان‌یابی‌‌شده با استفاده از روش پیشنهادی نسبت به روش ]25[ کمتر است و در ادامه می‌تواند به‌عنوان روشی کاربردی در آنالیز جراحی‌های پلاستیک چهره به کار گرفته شود. در این مطالعه، 33 لندمارک آشکارسازی‌‌شده برای آنالیز سفالومتری بافت نرم چهره از نمای روبه‌رو به‌منظور کاربرد در جراحی‌های ترمیمی سر و صورت به کار گرفته می‌شوند. 15 معیار آنتروپومتری نمای روبه‌روی چهره (شکل 2) برای آنالیز سفالومتری چهره به کار گرفته می‌شوند. جدول 3 دقت و خطای معیارهای آنتروپومتریک اندازه‌گیری‌‌شده با استفاده از روش پیشنهادی را براساس رابطه (18) نشان می‌دهد. جدول 3 نشان می‌دهد دقت روش پیشنهادی در 5 مورد از اندازه‌گیری‌ها، بالای 95 درصد و در تمامی موارد، به‌جز اندازه‌گیری عرض دهان، بالای 90 درصد است. نتایج تأیید می‌کنند روش پیشنهادی عملکرد قابل قبولی در مکان‌یابی نقاط کلیدی و اندازه‌گیری متریک‌های چهره برای کاربرد در آنالیز سفالومتری بافت نرم چهره دارد. نمونه‌ای از نتایج گرافیکی روش پیشنهادی برای مکان‌یابی و اندازه‌گیری معیارهای آنتروپومتریک چهره در شکل 4 نشان داده شده است. در برنامه‌ریزی جراحی‌های ترمیمی و زیبایی چهره، اندازه‌گیری تمامی معیارهای آنتروپومتریک چهره به‌صورت دستی سخت و زمان‌بر است. همچنین، این نوع از اندازه‌گیری به آموزش و مهارت نیازمند است؛ درنتیجه، ارائه روش‌های مبتنی بر پردازش تصویر و بینایی کامپیوتر می‌تواند کمک شایانی به متخصصان جراحی‌های پلاستیک چهره در آنالیز سفالومتری چهرة بیماران در قبل و بعد از عمل جراحی داشته باشد. نتایج پیاده‌سازی تأیید می‌کنند روش پیشنهادی با دقت بالا می‌تواند به‌عنوان یک روش هوشمند برای طراحی بستة نرم‌افزاری به‌منظور آنالیز سفالومتری چهره به کار گرفته شود.


     

     

    شکل (3): بخش‌بندی تصاویر رنگی نمای روبه‌رو چهره با روش پیشنهادی برای شناسایی ناحیه چهره. (الف): تصاویر اصلی. (ب): نگاشت چهره در کانال Pr. (ج): نتایج بخش‌بندی برای کانال Pr. (د): شناسایی ناحیه چهره.

     

     

     

     

     

     

     

     

    جدول (1): نتایج بخش‌بندی تصاویر رنگی چهره با استفاده از روش پیشنهادی FCMHHO.

    روش

    معیار SE

    معیار NSE

    معیار S

    معیار

    معیار

    میانگین

    انحراف معیار

    میانگین

    انحراف معیار

    میانگین

    انحراف معیار

    میانگین

    انحراف معیار

    میانگین

    انحراف معیار

    Standard FCM

    17617/0

    1613/0

    00903/0

    0104/0

    82397/0

    1613/0

    17977/0

    1578/0

    25207/0

    2251/0

    FCMPSO [29]

    20938/0

    1610/0

    00771/0

    0083/0

    79078/0

    1610/0

    21158/0

    1585/0

    29788/0

    2255/0

    FCMCSA [30]

    06553/0

    1320/0

    02068/0

    0412/0

    93453/0

    1320/0

    07223/0

    1364/0

    09813/0

    1895/0

    FCMWOA [31]

    11424/0

    1527/0

    01235/0

    0119/0

    88584/0

    1527/0

    12034/0

    1489/0

    16664/0

    2127/0

    FCMBBO [32]

    12305/0

    1543/0

    01054/0

    0071/0

    87705/0

    1543/0

    12645/0

    1520/0

    17675/0

    2164/0

    FCMGA [33]

    15766/0

    1565/0

    00882/0

    0077/0

    84246/0

    1565/0

    15996/0

    1546/0

    22476/0

    2198/0

    FCMGWO [34]

    03962/0

    0894/0

    01497/0

    0109/0

    96042/0

    0894/0

    04682/0

    0877/0

    06202/0

    1249/0

    FCMHHO

    03861/0

    0853/0

    01466/0

    0106/0

    96141/0

    0853/0

    04551/0

    0838/0

    06031/0

    1192/0

     

     

    شکل (4): آنالیز سفالومتری نمای روبه‌روی چهره با استفاده از روش پیشنهادی. (الف): تصویر اصلی. (ب): لندمارک‌های مکان‌یابی‌شده. (ج): اندازه‌گیری نسبت‌های یک‌سوم قسمت عمودی و یک‌پنجم قسمت افقی چهره. (د): نمونه‌ای از متریک‌های اندازه‌گیری‌شده.

     

     

     

     

    جدول (2): مقایسه نتایج میانگین فاصله اقلیدسی لندمارک‌های آشکارسازی‌شده براساس CRM استاندارد ]25[ و روش پیشنهادی

    لندمارک

    ]25[

    روش پیشنهادی

    لندمارک

    ]25[

    روش پیشنهادی

    F1

    024/3

    998/2

    F18

    777/2

    930/1

    F2

    043/4

    434/3

    F19

    303/3

    449/2

    F3

    641/4

    403/4

    F20

    738/3

    757/2

    F4

    788/3

    544/3

    F21

    182/4

    937/2

    F5

    707/4

    498/4

    F22

    818/3

    834/2

    F6

    960/4

    104/4

    F23

    500/3

    510/2

    F7

    280/5

    974/4

    F24

    152/4

    625/3

    F8

    067/4

    227/3

    F25

    102/4

    489/3

    F9

    037/4

    438/3

    F26

    686/3

    155/3

    F10

    337/3

    610/2

    F27

    402/3

    018/3

    F11

    870/3

    226/3

    F28

    678/3

    241/3

    F12

    469/4

    482/3

    F29

    278/3

    774/2

    F13

    261/5

    573/4

    F30

    697/3

    334/3

    F14

    428/3

    465/2

    F31

    062/3

    614/2

    F15

    997/2

    065/2

    F32

    289/3

    825/2

    F16

    964/2

    228/2

    F33

    181/3

    735/2

    F17

    508/3

    653/2

    -

    -

    -

     

    جدول (3): دقت و خطای روش پیشنهادی در آنالیز بافت نرم چهره برای اندازه‌گیری معیارهای چهره

    متریک

    دقت

    (%)

    خطا

    (%)

    متریک

    دقت

    (%)

    خطا

    (%)

    MF1

    93.15

    6.85

    MF7

    93.24

    6.76

    MF2

    95.56

    4.44

    MF8

    87.09

    12.91

    MF3

    90.67

    9.33

    MF9

    98.40

    1.60

    MF4

    94.77

    5.23

    MF10

    96.53

    3.47

    MF5

    96.19

    3.81

    MF11

    97.95

    2.05

    MF6

    96.14

    3.86

    -

    -

    -

     


    4- نتیجه‌گیری و ارائه پیشنهادات

    متخصصان جراحی‌های پلاستیک چهره، در آنالیز آنتروپومتری چهره با تعدادی مشکلات مواجه‌اند. (1) اندازه‌گیری متریک‌های چهره با به‌کارگیری ابزارهای مکانیکی مانند کولیس و خط‌کش سخت و دشوار است. (2) کالیبره‌کردن و مدیریت داده‌ها در قبل و بعد از عمل جراحی دشوار است. در این مقاله، با تکیه بر روش‌های هوشمند در حوزة پردازش تصویر و بینایی کامپیوتر روشی برای حل مشکلات مطرح‌‌شده در حوزة پزشکی ارائه شد. در این پژوهش، برای اندازه‌گیری نسبت‌های طلایی چهره به مکان‌یابی 33 نقطه آناتومیکی چهره نیازمند بودیم. در این راستا، تخمین اولیه مکان چهره در فرایند ارزیابی داده‌های جدید و به‌کارگیری روشی مناسب برای آشکارسازی لندمارک‌های چهره جزء چالش‌های اصلی تحقیق مطرح بودند. برای این منظور، در این مطالعه دو نوآوری اصلی مطرح شدند. (1) بخش‌بندی چهره برای تخمین اولیه مکان چهره نقش کلیدی در مکان‌یابی نقاط کلیدی چهره دارد. برای این منظور الگوریتم FCM به کار گرفته شد. عیب مهم این الگوریتم این است که به مقادیر اولیه حساس است و در کمینه محلی می‌افتد. برای غلبه بر این مسئله، این الگوریتم به‌عنوان یک مسئله بهینه‌سازی مطرح شد. خوشه‌بند FCM در دو حالت پیوسته و گسسته می‌تواند به‌عنوان یک مسئله بهینه‌سازی مطرح شود. در حالت بهینه‌سازی پیوسته، مراکز خوشه به‌عنوان عامل‌های جست‌وجو برای الگوریتم‌های فراابتکاری در نظر گرفته می‌شوند؛ درحالی‌که در بهینه‌سازی گسسته ماتریس عضویت به‌عنوان جمعیت‌های اولیه برای این الگوریتم‌ها در نظر گرفته می‌شوند. بهینه‌سازی شاهین هریس (HHO) عملکرد بهتری نسبت به سایر الگوریتم‌های فراابتکاری در حل مسائل با بُعد بالا دارد. با توجه به بالابودن بُعد مسئله بهینه‌سازی مطرح‌‌شده در این مطالعه، از الگوریتم HHO برای بهینه‌کردن خوشه‌بند FCM  استفاده شد. نتایج نشان دادند بهینه‌سازی الگوریتم FCM در حالت گسسته عملکرد بهتری نسبت به بهینه‌سازی آن در حالت پیوسته دارد. (2) مکان‌یابی نقاط کلیدی چهره، آشکارسازی لندمارک، نقش مهمی در اندازه‌گیری متریک‌های چهره دارد. روش‌های مبتنی بر رگرسیون آبشاری (CRM) جزء محبوب‌ترین روش‌های مبتنی بر شکل برای آشکارسازی لندمارک‌های چهره بود که در کاربردهای مختلفی نظیر انیمیشن چهره، شناسایی هویت و حالات چهره، تخمین سن و آنالیز سفالومتری چهره به کار گرفته می‌شوند. در مرحله آموزش، ابتدا ویژگی‌های هیستوگرام جهت‌دار (HOG) اطراف هر لندمارک تعریف‌شده در فضای خاکستری به دست آمد. سپس با ایجاد مدل داده‌های تست ارزیابی شدند. استخراج ویژگی اطراف لندمارک‌های تعریف‌شده در فضای خاکستری تصویر، عملکرد مناسبی در مکان‌یابی نقاط کلیدی چهره از خود نشان نداد. برای این منظور، استخراج ویژگی در هر سه کانال فضای رنگی RGB برای بهبود عملکرد روش CRM به کار گرفته شد؛ درنهایت، الگوریتم پیشنهادی با نوآوری‌های مطرح‌شده برای اندازه‌گیری نسبت‌های طلایی چهره به کار گرفته شد. به‌منظور بهبود روش ارائه‌‌شده، 3 موضوع اصلی می‌توانند در ادامه مطرح شوند. (1) در مرحلة آموزش داده‌ها در الگوریتم CRM، میانگین ریخت‌ها به‌عنوان الگوی اولیه مطرح می‌شود. با محاسبة میزان تشابه هر ریخت از هر داده با سایر ریخت‌ها و با رتبه‌بندی‌کردن آنها، می‌توان به‌جای میانگین‌گرفتن از تمامی ریخت‌ها از ریخت‌های برتر میانگین گرفت. (2) مکان‌یابی اجزای چهره مانند چشم و دهان و قراردادن لندمارک‌های مربوط به این نواحی در محدودة مشخص‌‌شده می‌تواند باعث افزایش سرعت همگرایی در مرحله آموزش شود؛ درنتیجه، آشکارسازی نواحی چشم و دهان می‌تواند به‌عنوان بخشی از روش ارائه‌‌شده مطرح شود. (3) آنالیز سفالومتری و اندازه‌گیری متریک‌های چهره به‌طور هم‌زمان از هر دو نمای روبه‌رو و جانبی چهره اطلاعات مهمی را از ساختار و وضعیت چهره بیمار در اختیار متخصص قرار می‌دهد. بر همین اساس، به‌کارگیری روش پیشنهادی برای آشکارسازی لندمارک‌های نمای جانبی چهره و اندازه‌گیری زوایای این نما نیز می‌تواند به‌عنوان یکی از کارهای آینده برای این حوزه مطرح شود.

     

    [1] تاریخ ارسال مقاله: 28/06/1400

    تاریخ پذیرش مقاله: 29/07/1402

    نام نویسندۀ مسئول: موسی شمسی

    نشانی نویسندۀ مسئول: ایران، تبریز، دانشگاه صنعتی سهند، دانشکده مهندسی پزشکی

Kaipainen, AE, Sieber KR, Nada RM, Maal TJ, Katsaros C, Fudalej PS. Regional facial asymmetries and attractiveness of the face. European journal of orthodontics. 2016 Dec 1;38(6):602-8. https://doi.org/10.1093/ejo/cjv087
Kaya, KS, Türk B, Cankaya M, Seyhun N, Coşkun BU. Assessment of facial analysis measurements by golden proportion. Brazilian journal of otorhinolaryngology. 2019 Aug 29;85:494-501. https://doi.org/10.1016/j.bjorl.2018.07.009
Liu, S, Fan YY, Samal A, Guo Z. Advances in computational facial attractiveness methods. Multimedia Tools and Applications. 2016 Dec;75:16633-63. https://doi.org/10.1007/s11042-016-3830-3
Tang, X, Guo F, Shen J, Du T. Facial landmark detection by semi-supervised deep learning. Neurocomputing. 2018 Jul 5;297:22-32. https://doi.org/10.1016/j.neucom.2018.01.080
Park, BH, Oh SY, Kim IJ. Face alignment using a deep neural network with local feature learning and recurrent regression. Expert Systems with Applications. 2017 Dec 15;89:66-80. https://doi.org/10.1016/j.eswa.2017.07.018
Wu, Y, Hassner T, Kim K, Medioni G, Natarajan P. Facial landmark detection with tweaked convolutional neural networks. IEEE transactions on pattern analysis and machine intelligence. 2017 Dec 25;40(12):3067-74. DOI:1109/TPAMI.2017.2787130
Abrishami, M, Mahdavi Shahri N. Photographic study of lip anthropometric pattern development in the Fars family in Mashhad. Anatomical Sciences Journal. 2014 Nov 10;11(4):175-82.
Asghari, A, Rajaeih S, Hassannia F, Tavakolifard N, Neisyani HF, Kamrava SK, Jalessi M, Omidian P. Photographic facial soft tissue analysis of healthy Iranian young adults: anthropometric and angular measurements. Medical Journal of the Islamic Republic of Iran. 2014;28:49.
Almukhtar, A, Khambay B, Ju X, McDonald J, Ayoub A. Accuracy of generic mesh conformation: The future of facial morphological analysis. JPRAS Open. 2017 Dec 1;14:39-48. https://doi.org/10.1016/j.jpra.2017.08.003
Fahmi, A, Shamsi M, Rouni H. Anthropometric Analysis of Face using Local Gaussian Distribution Fitting Applicable for Facial Surgery. Signal and Data Processing. 2020 Jun 10;17(1):61-78. DOI: 29252/jsdp.17.1.61 [In Persian].
Fahmi Jafargholkhanloo A, Shamsi M. Estimation of Ear Parameters Applicable to Otoplasty Surgery. Journal of Soft Computing and Information Technology, 2020 May 21;9(1):36-45.
Singh, J, Arora AS. An automated approach to enhance the thermographic evaluation on orofacial regions in lateral facial thermograms. Journal of thermal biology. 2018 Jan 1;71:91-8. https://doi.org/10.1016/j.jtherbio.2017.11.001
Bakhshali, MA, Shamsi M. Estimating facial angles using Radon transform. Turkish Journal of Electrical Engineering and Computer Sciences. 2015;23(3):804-12. DOI: https://doi.org/10.3906/elk-1302-87
Liu, Y, Huang ML, Huang W, Liang J. A physiognomy-based method for facial feature extraction and recognition. Journal of Visual Languages & Computing. 2017 Dec 1;43:103-9. https://doi.org/10.1016/j.jvlc.2017.09.006
Salazar, A, Daza GS, Sánchez L, Prieto F, Castellanos G, Quintero C. Feature extraction & lips posture detection oriented to the treatment of CLP children. In2006 International Conference of the IEEE Engineering in Medicine and Biology Society 2006 Aug 30 (pp. 5747-5750). IEEE. DOI:1109/IEMBS.2006.260478
Seyedsalehi, SZ, Seyyedsalehi SA. Attractor analysis in associative neural networks and its application to facial image analysis. Computational Intelligence in Electrical Engineering. 2018 Aug 19;9(1):79-96. DOI: 22108/ISEE.2018.90029.0 [In Persian].
Zhang, D, Zhao Q, Chen F. Quantitative analysis of human facial beauty using geometric features. Pattern Recognition. 2011 Apr 1;44(4):940-50. https://doi.org/10.1016/j.patcog.2010.10.013
Liu, S, Fan YY, Guo Z, Samal A, Ali A. A landmark-based data-driven approach on 2.5 D facial attractiveness computation. Neurocomputing. 2017 May 17;238:168-78. https://doi.org/10.1016/j.neucom.2017.01.050
Zhang, B, Xiao X, Lu G. Facial beauty analysis based on features prediction and beautification models. Pattern Analysis and Applications. 2018 May;21:529-42. https://doi.org/10.1007/s10044-017-0647-2
Fan YY, Liu S, Li B, Guo Z, Samal A, Wan J, Li SZ. Label distribution-based facial attractiveness computation by deep residual learning. IEEE Transactions on Multimedia. 2017 Dec 6;20(8):2196-208. DOI:1109/TMM.2017.2780762
Bugaighis, I, Mattick CR, Tiddeman B, Hobson R. Three-dimensional gender differences in facial form of children in the North East of England. The European Journal of Orthodontics. 2013 Jun 1;35(3):295-304. https://doi.org/10.1093/ejo/cjr033
Lippold C, Liu X, Wangdo K, Drerup B, Schreiber K, Kirschneck C, Moiseenko T, Danesh G. Facial landmark localization by curvature maps and profile analysis. Head & Face Medicine. 2014 Dec;10:1-7. https://doi.org/10.1186/1746-160X-10-54
Mercan, E, Morrison CS, Stuhaug E, Shapiro LG, Raymond WT. Novel computer vision analysis of nasal shape in children with unilateral cleft lip. Journal of Cranio-Maxillofacial Surgery. 2018 Jan 1;46(1):35-43. https://doi.org/10.1016/j.jcms.2017.10.018
Heidari, AA, Mirjalili S, Faris H, Aljarah I, Mafarja M, Chen H. Harris hawks optimization: Algorithm and applications. Future generation computer systems. 2019 Aug 1;97:849-72. https://doi.org/10.1016/j.future.2019.02.028
Feng, ZH, Hu G, Kittler J, Christmas W, Wu XJ. Cascaded collaborative regression for robust facial landmark detection trained using a mixture of synthetic and real images with dynamic weighting. IEEE Transactions on Image Processing. 2015 Jun 17;24(11):3425-40. DOI:1109/TIP.2015.2446944
Bai, R, Hou Q, Wang J, Gong Y. Facial Animation Based on 2D Shape Regression. InAdvances in Multimedia Information Processing-PCM 2016: 17th Pacific-Rim Conference on Multimedia, Xi´ an, China, September 15-16, 2016, Proceedings, Part II 2016 (pp. 33-42). Springer International Publishing. https://doi.org/10.1007/978-3-319-48896-7_4
Gogić, I, Ahlberg J, Pandžić IS. Regression-based methods for face alignment: A survey. Signal Processing. 2021 Jan 1;178:107755. https://doi.org/10.1016/j.sigpro.2020.107755
Bakhshali, M, Shamsi M, Sadeghi M. Evaluation of facial soft tissue parameters for Northwestern students in Iran. Journal of Craniomaxillofacial Research. 2015 Oct 13:78-82.
Verma, H, Verma D, Tiwari PK. A population-based hybrid FCM-PSO algorithm for clustering analysis and segmentation of brain image. Expert systems with applications. 2021 Apr 1;167:114121. https://doi.org/10.1016/j.eswa.2020.114121
Lenin, Fred A, Kumar SN, Padmanaban P, Gulyas B, Ajay Kumar H. Fuzzy-crow search optimization for medical image segmentation. Applications of hybrid metaheuristic algorithms for image processing. 2020:413-39. https://doi.org/10.1007/978-3-030-40977-7_18
Tongbram, S, Shimray BA, Singh LS, Dhanachandra N. A novel image segmentation approach using fcm and whale optimization algorithm. Journal of ambient intelligence and humanized computing. 2021 Jan 2:1-5. https://doi.org/10.1007/s12652-020-02762-w
Zhang, M, Jiang W, Zhou X, Xue Y, Chen S. A hybrid biogeography-based optimization and fuzzy C-means algorithm for image segmentation. Soft computing. 2019 Mar 29;23:2033-46. https://doi.org/10.1007/s00500-017-2916-9
Das, S, De S. A modified genetic algorithm based FCM clustering algorithm for magnetic resonance image segmentation. InProceedings of the 5th International Conference on Frontiers in Intelligent Computing: Theory and Applications: FICTA 2016, Volume 1 2017 (pp. 435-443). Springer Singapore. https://doi.org/10.1007/978-981-10-3153-3_43
Li, MQ, Xu LP, Xu N, Huang T, Yan B. SAR image segmentation based on improved grey wolf optimization algorithm and fuzzy c-means. Mathematical Problems in Engineering. 2018 Jan 1;2018. https://doi.org/10.1155/2018/4576015
Ford, A, Roberts A. Colour space conversions. Westminster University, London. 1998 Aug 11;1998:1-31.