در طی دو دهه اخیر محققان حوزه پردازش گفتار تلاش‌های زیادی برای بهبود عملکرد سیستم‌های خودکار بازشناس گفتار^[1] (ASR) در شرایط تمیز انجام داده‌اند. مقاوم‌سازی سیستم بازشناسی نسبت به تنوعات مختلف گفتاری (مانند تنوعات گوینده، لهجه، نویز محیط، کانال انتقال و ...) نیز از دیگر حوزه‌های فعال در بحث بازشناسی گفتار است[1]. بیشتر تحقیقات انجام شده در زمینه مقاوم‌سازی بازشناسی گفتار نسبت به تنوعات، روی سه تکنیک عمده بهسازی گفتار، استخراج ویژگی‌های مقاوم و جبران‌سازی پارامترهای مدل صوتی متمرکز شده است[2].

از طرفی دیگر، تحقیقات اخیر نشان می‌دهد که نتایج به دست آمده از بهترین سیستم‌های ASR، پایین‌تر از نتایج بازشناسی سیستم شنوایی انسان است، از این‌رو، می‌توان امید داشت با الهام گرفتن از عملکرد فیزیولوژیک شنوایی انسان، بازشناسی این­ گونه سیستم‌ها را افزایش داد[3]. برای نمونه، با درنظر گرفتن فرکانس مدولاسیون جهاز صوتی انسان در محدوده 4 تا 16 هرتز، محدوده زمانی مفید برای اطلاعات هر قاب گفتاری تا 250 میلی ثانیه گسترش می‌یابد[4]. از طرفی دیگر، با بررسی آلِن (Alen) بر روی مدل چندباند درک آوا فِلچر (Feltcher)، مشخص ‌شد که استخراج اطلاعات صوتی در انسان، در باند‌های مختلف فرکانسی انجام می‌گیرد. این پدیده با ساختار غشای قاعده‌ای درون حلزونی گوش، به عنوان یک آنالیزکننده طیفی قابل توجیه است [5]. همچنین، ساختار سازمان‌های موازی و سلسله مراتبی در درک اطلاعات گفتاری انسان (واقع در بخش کورتکس شنوایی مغز) نیز یک­سری پردازش‌های موازی و چندباند اطلاعات صوتی بین نرون‌های عصبی مختلف نشان می‌دهد. این نوع پردازش، به ترکیب مناسب اطلاعات کسب شده از هر باند فرکانسی منجر می‌شود که در نهایت به بازشناسی مقاومتر انسان منجر خواهد شد [6].

در سال 1999 میلادی، هِرمانسکی (Hermansky) و شارما (Sharma) با الهام از شواهد فیزیولوژیک مطرح شده، یک روش جدید استخراج ویژگی مقاوم با عنوان TRAP (TempoRAl Pattern) به منظور استفاده از اطلاعات الگوهای زمانی^[2] (TP) موجود در توالی بردارهای بازنمایی‌شده از سیگنال گفتار ارائه نمودند [7]. آنها در این روش، به جای اعمال مستقیم بردارهای بازنمایی متداول گفتاری به سیستم بازشناس، با اعمال نگاشت غیرخطی شبکه عصبی بر روی توالی زمانی مربوط به هر یک از عناصر بردارهای بازنمایی شده و تخمین مقادیر احتمالات پسین^[3] (PP) واجی، در جهت تولید ویژگی‌های جدید اقدام نمودند. در ادامه و در [8] دو مدل شبکه عصبی دیگر (HATS و TMLP)، در جهت تکمیل روش‌های استخراج ویژگی مبتنی بر الگوهای زمانی معرفی و بررسی شده است. ساختار سیستم بازشناس نهایی TANDEM نام داشت که نگاشت شبکه عصبی در بخش استخراج ویژگی آن و مدل مخفی مارکوف (HMM)، مدل بازشناس اصلی آن بود (شکل 1). علاوه بر نگاشت غیرخطی شبکه عصبی، اثر استفاده از نگاشت‌های خطی آنالیز متمایزگر خطی^[4] (LDA) و آنالیز مؤلفه‌های اساسی^[5] (PCA) نیز بررسی شده است که نتایج ضعیف‌تری نسبت به نگاشت غیرخطی شبکه عصبی دربرداشتند [9].

شکل (1): ساختار سیستم بازشناس TANDEM ]6[.

از طرفی دیگر، ایده TRAP مشابه با روش چندباند است که در [10] مطرح شده است. در روش چندباند، طیف فرکانسی مربوط به هر قاب زمانی به چند زیرباند بدون همپوشانی تقسیم و سپس استخراج ویژگی از هر یک از زیرباندها به صورت مستقل و یا ترکیبی انجام می‌شود، اما در روش TRAP، تعداد زیرباندها به تعداد عناصر بردار بازنمایی و البته، همراه با همپوشانی افزایش می‌یابد. همچنین، در روش TRAP از محدوده اطلاعات زمانی بسیار بزرگتری نسبت به روش چند باند استفاده می‌شود، اما خاصیت مشترک هر دو روش در مقاوم‌ بودن آنها در برابر تنوعات گفتاری است.

از جمله فعالیت‌های دیگری که به منظور استخراج و بهبود این نوع ویژگی انجام گرفته است، بهبود ورودی نگاشت غیرخطی شبکه عصبی است. در [11] ورودی مورد نیاز برای مدل شبکه عصبی، با استفاده از اعمال مستقیم بانک ‌فیلترهای میان‌گذر بر روی سیگنال زمانی گفتار انجام شده است. در [12] نیز ورودی‌های شبکه با اعمال روش پیشگویی خطی (LP) بر طیف سیگنال تولید شده است. همچنین، هِرمانسکی در [13] نشان داد که استفاده از اطلاعات سه دنباله ویژگی مجاور هم به جای یک دنباله، باعث افزایش نتایج بازشناسی خواهد شد. روش‌هایی نیز برای بهبود ساختار شبکه عصبی مدل‌ها معرفی شده است. برای مثال، در [14] اثر کاربرد شبکه‌های سلسله مراتبی^[6] بررسی شده است که به تعلیم مناسبتر واج‌های مشابه منجر می‌شود.

در تحقیق حاضر، روش بهبود یافته­ای برای استخراج ویژگی‌های مقاوم گفتاری مبتنی بر ایده الگوهای زمانی پیشنهاد شده است. این روش شامل دو ایده پیشنهادی در تغییر ساختار لایه خروجی شبکه عصبی TMLP و ترکیب اطلاعات به دست آمده از خروجی دو شبکه است که این شبکه‌ها دربرگیرنده ویژگی‌های متداول از حوزه‌های متمایز کپستروم و طیفی هستند تا بتوانند در بهبود بخش نگاشت غیرخطی شبکه عصبی، به منظور افزایش کارایی سیستم بازشناسی گفتار با ساختار TANDEM مؤثر باشند. از این رو، در بخش 2 به معرفی اولیه ویژگی الگوی زمانی (TP) و خواص ویژگی‌های گفتاری مبتنی بر احتمالات پسین خواهیم پرداخت. در بخش 3 مجموعه دادگان و سیستم بازشناس معرفی می‌شود. بخش 4 شامل ارائه مدل شبکه عصبی TMLP و مدل پیشنهادی MTMLP است. در بخش 5 چگونگی اعمال تغییرات مورد نیاز بر روی ویژگی‌ها و نحوه اعمال آنها به سیستم بازشناس بیان می‌شود. در بخش 6 نتایج آزمایش­های به دست آمده از روش پیشنهادی ارائه و بحث و بررسی می‌شوند و در بخش آخر مقاله نتیجه‌گیری آورده شده است.

1- استخراج ویژگی الگوهای ‌زمانی

در روش استخراج ویژگی الگوهای زمانی، برخلاف سیستم‌های متداول بازشناسی گفتار که در آن ویژگی‌های استخراج شده براساس انرژی باندهای فرکانسی قاب‌های زمان‌ کوتاه^[7] سیگنال گفتار به دست می‌آیند، اطلاعات مورد نیاز برای بازشناسی، از توالی هر یک از عناصر بردارهای بازنمایی (که ما آنها را دنباله عناصر ویژگی می‌نامیم) در یک محدوده زمانی نسبتاً طولانی‌تر حاصل می‌شوند. در شکل(2) این تمایز نشان داده شده است که در آن روش TRAP یکی از روش‌های اولیه استخراج اطلاعات الگوی زمانی (TP) است [7]. همان­طور که از شکل(2) استنباط می‌شود، ویژگی‌های به دست آمده از روش TRAP، بیانگر تغییرات دنباله هر یک از عناصر ویژگی خواهند بود. از این رو، این ویژگی، الگوی زمانی (TP) نامیده می‌شود. در حالت کلی این روش جزو روش‌های پس‌پردازش زمانی مبتنی بر داده^[8] محسوب می‌شود [13،15 ].

مدلی که در ابتدا برای استخراج ویژگی‌ TP پیشنهاد شده بود، مدل Neural TRAPs نام داشت که از دو طبقه شبکه عصبی چند لایه پرسپترون^[9] (MLP) تشکیل می‌شد [7]. در طبقه اول این مدل، به تعداد عناصر (بُعد) بردار بازنمایی گفتاری، شبکه عصبی MLP سه لایه به منظور یادگیری احتمال پسین واجی (خروجی شبکه) هر یک از دنباله‌های عناصر بردار ویژگی (ورودی شبکه) قرار داشت. در نتیجه، هر یک از MLPهای تعلیم یافته در طبقه اول مدل، همانند یک فیلتر تطبیقی، اطلاعات TP مربوط به واج‌ها را از دنباله‌های مربوط به یک عنصر بردار ویژگی یاد می‌‌گرفت. در طبقه دوم مدل نیز با استفاده از یک شبکه عصبی دیگر، اطلاعات TP به دست آمده از خروجی MLPهای طبقه اول، ترکیب می‌شد. بدین ترتیب، یک نگاشت با توانایی تخمین احتمال پسین مربوط به هر کلاس واجی از روی دنباله ویژگی‌های ورودی اعمالی به آن تولید می‌شد که مقید به یادگیری الگوی زمانی (TP) واج‌ها از دنباله‌های ویژگی ورودی به آن بود [13].

شکل (2): نحوه استفاده از ویژگی در روش‌های متداول بازشناسی گفتار (بالا) و روش TRAP (پایین) [7].

به­کارگیری ویژگی‌های مبتنی بر تخمین احتمال پسین یکی از حوزه‌های جدید در تحقیقات کاربردی برای بازشناسی گفتار است که در یک دهه اخیر مورد توجه محققان قرار گرفته است [16،22]. در این حوزه اغلب از کلاس‌بندی کننده غیرخطی مبتنی بر شبکه عصبی (مانند MLP) برای مدل‌سازی صوتی و تولید تخمین مقادیر احتمال پسین استفاده می‌شود [23،24]. در این مجموعه از روش‌ها، ورودی شبکه عصبی دربرگیرنده ویژگی‌های صوتی استاندارد همراه با محتوای زمانی اطراف هر قاب گفتاری است.

در [25] نشان داده شده است که اگر یک مدل شبکه عصبی به خوبی بر روی حجم وسیع و متنوعی از دادگان تعلیم گفتاری آموزش یابد، می‌تواند در لایه خروجی خود، تخمین مناسبی از مقدار احتمال پسین کلاس‌های گفتاری واج یا حالت‌های واجی^[10] را به شرط ویژگی‌های ورودی تولید نماید. مدل‌سازی صوتی مبتنی بر شبکه عصبی دارای مزیت‌هایی است: اول اینکه به فرض دقیق بر روی نحوه توزیع ویژگی‌ها و شکل پارامتری تابع چگالی آنها نیاز ندارد. در نتیجه، ویژگی‌های متنوع ورودی از کلاس‌های مختلف گفتاری که هرکدام دارای شکل توزیع متفاوتی هستند، می‌توانند به راحتی با یکدیگر ملحق و به عنوان ورودی شبکه استفاده شوند [23]؛ دوم اینکه نشان داده شده است که اگر شبکه عصبی بر روی حجم وسیع و متنوعی از دادگان تعلیم آموزش یافته باشد، می‌تواند نسبت به مشخصه‌های گوینده و اطلاعات خاص محیطی مانند نویز نامتغیر باشد [26]. در پایان اینکه، خروجی‌های شبکه که شامل تخمینی از احتمالات پسین است، حاوی خصوصیات مفید (مانند مقدار مثبت و مجموع یک) است که یک چارچوب کارآمد برای ترکیب چندین کلاس‌بندی کننده ایجاد می‌کند [27].

ویژگی‌های مبتنی بر مقادیر احتمال پسین با توجه به ذات احتمالاتی بودن آنها، کاربرد مناسبی در حوزه شناسایی الگو دارند. برخی از خواص مهم این ویژگی‌ها در ادامه آورده شده است:

الف) حساسیت کمتر به تغییرات غیرزبانی

در ویژگی‌های متداول صوتی (مانند MFCC^[11] یا LFBE^[12] که مبتنی بر مدل منبع-فیلتر سیگنال گفتار هستند) درجه بالایی از تغییرات غیرزبانی^[13] مانند مشخصه‌های گوینده و محیط (مانند نویز و کانال) دیده می‌شود. در [28،29] نشان داده شده است که اثرهای منفی مشخصه‌های هم‌تولیدی^[14] در ویژگی‌های مبتنی بر احتمالات پسین نسبت به ویژگی‌های صوتی کمتر تاثیرگذار خواهد بود.

ب) خاصیت تُنُکی

ویژگی‌های پسین حاوی احتمالات کلاس‌های واجی به شرط ویژگی‌های صوتی اعمال شده هستند. از این­رو، برای هر قاب گفتاری، مجموع این احتمالات یک خواهد بود. به علاوه، این احتمالات به صورت تُنُک^[15] در فضای ویژگی پسین توزیع یافته‌اند. توزیع تُنُک یکی از خواص مطلوب ویژگی‌های پسین است که در [23] بررسی شده است. توضیحات مناسبی در مورد مقدار جرم چگالی احتمالاتی آن‌ها و تمایز آنها در داده‌های تلفنی و میکروفونی در [21] آورده شده است. شایان ذکر است که بیان ویژگی‌های یک سیگنال به صورت تُنُک در کاربردهای فشرده‌سازی و مقاوم‌سازی آن نیز یکی از حوزه‌های مطالعاتی جذاب در دهه اخیر بوده است [30،33].

ج) تفکیک‌پذیری خطی بالا

این خاصیت در ساختار سلسله‌مراتبی که شامل چند طبقه متوالی از شبکه‌های عصبی است، بسیار مفید است. در این مورد، پارامترهای مدل شبکه عصبی در طبقات ثانویه ساختار سلسله‌مراتبی، باید به گونه‌ای بهینه‌سازی شوند که خطای بین بردارهای احتمالاتی پسین تخمین زده شده (خروجی شبکه طبقه اول به عنوان بردار ویژگی برای شبکه طبقه دوم) و بردارهای هدف خروجی (که به طور متداول در شکل صفر و یک یا همان قالب One-Hot هستند) کمینه شود. بردارهای هدف کلاس‌های واجی، در فضای چندبُعدی ویژگی‌های پسین، تفکیک‌پذیری خطی آنها را بیشتر مهیا می‌سازد [21]. اگر الگوریتم تعلیم شبکه براساس کمینه‌سازی میانگین مجذور خطا^[16] (MSE) باشد، تخمینی از مقدار احتمالاتی پسین کلاس‌های واجی در خروجی شبکه به شرط قطعه^[17] قاب‌های گفتاری ورودی اعمال شده به آن تولید خواهد شد [34،35].

2-  معرفی روش‌های متداول بازنمایی، دادگان و سیستم‌ بازشناس مورد استفاده

در این مقاله، استخراج ویژگی‌های احتمالات پسین مبتنی بر الگوهای زمانی، علاوه بر اینکه از مجموعه بردارهای بازنمایی لگاریتم انرژی فیلتر بانک (ویژگی‌های LFBE که در حوزه طیف هستند) انجام شده است، از مجموعه ضرایب کپسترال (ویژگی‌های MFCC که در حوزه کپستروم قرار دارند) نیز محاسبه شده است. در [36] نشان داده شده است که با متوسط‌گیری مقادیر احتمالاتی پسین به دست آمده از دو مدل شبکه عصبی (خروجی هر شبکه) که یکی بر روی ویژگی‌های حوزه لگاریتم طیف و دیگری بر روی ویژگی‌های حوزه کپستروم تعلیم یافته‌اند، بهبود نتایج خروجی شبکه عصبی حاصل خواهد شد؛ خصوصاً که ویژگی‌های حوزه لگاریتم طیف در شرایط تمیز و کم‌نویز و ویژگی‌های کپستروم در شرایط نویزی‌تر عملکرد بهتری دارند. بنابراین، با این شیوه ترکیب، می‌توانیم به دستیابی یک تخمین احتمال پسین مقاوم‌تر در شرایط مختلف تمیز و نویزی امیدوار باشیم.

از این‌رو، بردارهای بازنمایی مورد استفاده، شامل ضرایب MFCC و LFBE هستند که برای به دست آوردن بردارِ بازنمایی 19‌عنصری LFBE، از اعمال تابع لگاریتم، بر روی انرژیِ بانکِ فیلترهایِ 18‌تاییِ به دست آمده در مقیاس غیرخطی مِل (Mel) به همراه ویژگی انرژی کل طیف (E0) استفاده شده است. بردار 13‌عنصری MFCC نیز با استفاده از 12 ضریب اول کپستروم حاصل از ویژگی‌های LFBE و همچنین، ضریب صفرم کپسترال (C0) به دست آمده است. در بخش استخراج بردارهای بازنمایی سیگنال‌‌های گفتاری، از قاب‌‌های گفتاری با طول زمانی 2/23 میلی ثانیه (512 نمونه از سیگنال در هرقاب گفتاری) و همپوشانی 50% استفاده شده است. مقدار ضریب پیش‌تاکید نیز برابر 975/0 در نظر گرفته شد. پس از تولید بردارهای بازنمایی، روش تفریق میانگین (MS) در جهت مقاوم‌سازی بیشتر ویژ‌گی‌ها اعمال شده است [37]. از طرفی دیگر، به منظور مقایسه عملکرد ویژگی‌های به دست آمده از الگوهای زمانی (که بیانگر دینامیکِ زمان‌بلند دنباله‌های ویژگی هستند) با ویژگی‌های دینامیک مشتقات اول و دوم بردار ویژگی‌ها (که بیانگر دینامیکِ زمان‌کوتاهِ بردار ویژگی‌ها هستند)، مشتقات اول و دوم بردارهای بازنمایی نیز در این مرحله محاسبه می‌شوند.

از ساختار سیستم بازشناس TANDEM معرفی شده در بخش 1همراه با مدل مخفی مارکوف (HMM) (به عنوان مدل بازشناس واج به­وسیله نرم افزار HTK[38]) برای ارزیابی کارایی روش‌ استخراج ویژگی پیشنهادی استفاده شده است. در این جهت برای هر واج، یک مدل از چپ به راست با سه حالت و هر حالت شامل مخلوط 16 مدل گوسی (GMM) در نظر گرفته شده است. نتایج بازشناسی ارائه شده به صورت درصد دقت بازشناسی واج (%Acc) و به صورت بازشناسی پیوسته و مستقل از گوینده خواهند بود.

دادگان گفتاری مورد استفاده، از مجموعه دادگان فارس‌دات میکروفونی کوچک با نرخ نمونه‌برداری 22050 هرتز است [39]. از آن‌جایی که فایل‌های صوتی دادگان مورد استفاده در شرایط اتاق سکوت ضبط شده‌‌اند، دارای نرخ سیگنال به نویز (SNR) حدود 34dB هستند. بنابراین برای تولید دادگان نویزی با نویز جمع شونده، از نویزهای همهمه (نویز واقعی پیش زمینه)، صورتی (نویز باند باریک) و سفید (نویز باند پهن) مجموعه دادگان نویزی "NOISEX-92" در مقادیر مختلف سیگنال به نویز استفاده می‌شود [40].

مجموعه دادگان مورد استفاده شامل 6060 جمله است که از 5000 جمله (حدود 4 ساعت) به عنوان دادگان تعلیم و از مابقی آن (حدود یک ساعت) برای دادگان آزمون استفاده شده است. همچنین، به منظور تعمیم‌پذیری بیشتر مدل بازشناس نهایی، از 2000 جمله اول مجموعه دادگان تعلیم برای آموزش مدل شبکه عصبی و از 3000 جمله دیگر برای تعلیم مدل مخفی‌مارکوف استفاده شده است.

3- روش استخراج ویژگی TP به­وسیله مدل TMLP از بردارهای بازنمایی

یکی از روش‌های مناسب برای استخراج ویژگی الگوهای زمانی، استفاده از مدل شبکه‌ عصبی است. در این تحقیق از مدل TMLP^[18] که ساختار آن الهام گرفته شده از بخش تونوتوپیک^[19] سیستم شنوایی انسان است، درجهت استخراج ویژگی الگوهای زمانی استفاده می‌شود [8]. این مدل که در شکل (3) نشان داده شده است، برخلاف مدل Neural TRAPs، تنها شامل یک طبقه MLP چهار لایه است و بنابراین، آموزش آن تنها با یک مرحله تعلیم انجام می‌گیرد. این نوع ساختار مدل شبکه عصبی باعث می‌شود که در لایه‌های پایینی شبکه، پردازش ویژگی‌های ورودی به طور مستقل انجام گرفته و سپس این اطلاعات در لایه‌های بالاتر شبکه ترکیب شوند.

شکل (3): ساختار مدل TMLP با توالی N قاب زمانی و بردار ویژگی ورودی M بُعدی برای هر قاب زمانی.

تفاوتی که میان عملکرد این دو نوع مدل وجود دارد این است که در مدل TMLP به علت پس‌انتشار خطای ناشی از الگوریتم تعلیم بر روی تمامی دنباله‌های ویژگی ورودی آن، این مدل دنباله‌های ویژگی را یاد می‌گیرد که در برگیرنده اطلاعات مفیدتری از الگوهای زمانی باشند. از این‌رو، مدل TMLP مقید به یادگیری الگوهای زمانی (TP) موجود در هر یک از دنباله‌های ویژگی (‌چنانکه در تعلیم مدل Neural TRAPs اتفاق می‌افتد) نیست. ساختار مدل TMLP، برای 13 ویژگی‌ MFCC به صورت 13*(21*35)-13*(35*256)-256*30 در نظر گرفته شده است. بنابراین، محدوده زمانی بردارهای ویژگی ورودی به شبکه برای استخراج ویژگی الگوی زمانی درحدود 250 میلی‌ثانیه ((21+1)*11.6) خواهد بود.

تعلیم شبکه براساس برچسب‌دهی باینری نوع سخت (One Hot) انجام شده است. در این نوع برچسب‌دهی، به ازای هر مجموعه بردار بازنمایی ورودی به شبکه، یک خروجی 30 نرونی (به تعداد کلاس‌های واجی) به عنوان خروجی مطلوب آن تعریف می‌شود که یک نرون آن مقدار یک (متناظر با شماره کلاس واج مربوط به قاب میانی مجموعه بردار ورودی) و بقیه نرون‌های آن مقدار صفر دارند. بنابراین، پس از مرحله تعلیم، لایه خروجی شبکه می‌تواند بیانگر تخمین مقدار احتمالاتی پسین  هر یک از 30 کلاس واج فارسی ()، برای بردار ویژگی میانی jام ، از مجموعه بردارهای  اعمالی به ورودی شبکه باشد. در ادامه، با اعمال یک­سری تبدیلات خطی و غیرخطی بر روی مقادیر احتمالاتی پسین به دست آمده، بردار ویژگی جدید (که دربرگیرنده اطلاعات الگوهای زمانی واج‌هاست) تشکیل می‌شود. از این‌روست که این روش، روش استخراج ویژگی با استفاده از پردازش زمانی مبتنی بر داده نامیده می‌شود.

3-1- مدل پیشنهادی MTMLP و بهبود روش استخراج ویژگی TP

با توجه به دیدگاه الگوهای زمانی، از آن‌جا که اطلاعات موجود در ورودی مدل شبکه عصبی TMLP، به تعداد زیادی از بردارهای بازنمایی مربوط هستند (در اینجا 21 بردار) بنابراین، برای تعلیم مناسبتر نگاشت شبکه عصبی پیشنهاد می‌شود که علاوه بر استفاده از برچسب واج قاب میانی ورودی، از اطلاعات واجی مربوط به قاب‌های قبل و بعد قاب میانی نیز در لایه خروجی شبکه استفاده کنیم. با این روش، تعداد نرون‌های لایه خروجی به 90 نرون (سه خروجی که هر کدام شامل 30 نرون است) افزایش می‌یابد که در هنگام محاسبه مقادیر احتمالات پسین، می‌توان میانگین وزن‌داری از احتمالات مربوط به قاب‌های قبل و بعد را به قاب میانی افزود. این ساختار پیشنهادی را که می‌تواند به هموارسازی نتایج احتمالاتی خروجی کمک نماید (و در نتیجه تولید ویژگی‌هایی که می‌توانند به کاهش اثر درج واج منجر شوند)، مدل بهبودیافته TMLP (MTMLP) می‌نامیم. برای بیان کمی بهبود نتایج خروجی مدل MTMLP نسبت به مدل TMLP (که معادل با تمایزپذیری بیشتر ویژگی الگوی زمانی به دست آمده است)، از معیار دقت بازشناسی قاب استفاده می‌نماییم. در این معیار، با توجه به مقادیر احتمالاتی پسین به دست آمده برای هر قاب، کلاس واجی که بیشترین احتمال را کسب نموده، به عنوان برچسب قاب تعیین می‌شود. سپس این برچسب با برچسب واقعی قاب مقایسه می‌شود. درصد دقت بازشناسی قاب، از نسبت تعداد برچسب‌های درست تخمین زده شده به مجموع تعداد تمامی قاب‌ها محاسبه خواهد شد. در جدول (1) نتایج دقت بازشناسی قاب مدل‌های TMLP و MTMLP با استفاده از بردارهای بازنمایی ورودی MFCC بر روی مجموعه دادگان آزمون تمیز آورده شده است.

جدول (1): درصد دقت بازشناسی قاب با استفاده از مدل‌های TMLP و MTMLP بوسیله ویژگی‌های MFCC .

آن‌گونه که از نتایج جدول 1 پیداست، با پیاده‌سازی مدل MTMLP، دقت بازشناسی قاب 27/72 درصد بر روی دادگان آزمون تمیز حاصل می‌شود که بازشناسی دقیقتری (حدود یک درصد) نسبت به مدل اولیه TMLP دربرداشته است. همچنین، مدل MTMLP به تخمین بهتر احتمالات پسین واج‌های با طول زمانی بلند (واکه‌ها، شبه‌واکه‌ها و سایشی‌ها) منجر شده است.

3-2- ترکیب اطلاعات به دست آمده از بردارهای بازنمایی‌ طیفی و کپستروم

استفاده همزمان از بردارهای ویژگی متمایز که حاوی اطلاعات متفاوتی از یک سیگنال هستند، می‌تواند به افزایش کارایی عملکرد سیستم‌های بازشناسی منجر شود [41-43]. در این بخش نشان خواهیم داد که چگونه ترکیب نتایج خروجی به دست آمده از شبکه‌های تعلیم یافته با بردارهای بازنمایی مبتنی بر طیف و کپستروم، به بهبود نتایج دقت بازشناسی قاب مدل بازشناس شبکه عصبی منجر می‌شود. برای این منظور مدل پیشنهادی MTMLP را علاوه بر بردارهای بازنمایی حوزه کپستروم (MFCC)، بر روی بردارهای بازنمایی حوزه طیف (LFBE) تعلیم می‌دهیم. البته، ساختار مدل شبکه عصبی برای ویژگی‌های LFBE به گونه‌ای انتخاب می‌شود که به تعداد پارامترهای مدل تعلیم یافته با ویژگی MFCC، پارامتر وزن وجود داشته باشد. از این‌رو، ساختار شبکه عصبی پیشنهادی این مدل برای ویژگی‌های حوزه طیف LFBE به صورت 19*(21*24)-19*(24*256)-256*90 طراحی شد. به این ترتیب، برای هر دو مدل شبکه عصبی، نسبت تعداد کل قاب‌های تعلیمی به تعداد کل وزن‌های مجهول شبکه، یکسان و برابر مقدار 3/6 خواهد بود (برای مناسب بودن خاصیت تعمیم‌پذیری و همچنین زمان آموزش مناسب شبکه، مقدار این نسبت باید بین 4 تا 10 باشد[44]). در جدول(2) نتایج دقت بازشناسی قاب مدل MTMLP با ویژگی‌های طیفی (LFBE19) آورده شده است.

جدول (2): درصد دقت بازشناسی قاب مدل MTMLP برای 13 ویژگی‌ MFCC و 19 ویژگی LFBE و همچنین مدل ترکیبی آن دو.

در جدول(2)، نتایج بازشناسی قاب مدل MTMLP با استفاده از ویژگی‌های کپستروم (MFCC13) و مدل ترکیبی آن دو نیز آورده شده است. مدل ترکیبی مورد استفاده (ترکیب در سطح خروجی)، متشکل از دو مدل تعلیم یافته MTMLP بر روی ویژگی‌های LFBE و MFCC است که در آن مقدار احتمال پسین برای هر قاب ورودی  از متوسط‌گیری مقادیر احتمالاتی نرمالیزه به دست آمده از لایه خروجی هر یک از شبکه‌های فوق حاصل شده است که در رابطه(1) آورده شده است.

با توجه به نتایج جدول 2، مدل بازشناس ترکیبی توانسته است برای تمامی کلاس‌های واجی، به بهبود دقت بازشناسی قاب (تشخیص دقیق‌تر احتمالات پسین) منجر شود. بهبود نتایج مدل ترکیبی نسبت به مدل با ویژگی‌های ورودی LFBE حدود 2/2 درصد و نسبت به مدل با ویژگی‌های ورودی MFCC حدود 1/4 درصد است.

4- آماده‌سازی ویژگی‌های استخراج شده

پیش از استفاده از مقادیر احتمالاتی پسین به دست آمده به عنوان ویژگی الگوی زمانی (TP) در ساختار TANDEM با مدل بازشناس HMM، باید یک­ سری تبدیلات مفید بر روی آنها اعمال شود. در ابتدا برای توزیع مناسبتر این مقادیر، مقدار میانگین هر بردار را صفر می‌نماییم. در مرحله بعد از تابع لگاریتم برای مقیاس کردن غیرخطی و تبدیل کسینوسی گسسته^[20] (DCT) در جهت کاهش بُعد و غیرهمبسته نمودن آنها (که به همگونی بیشتر توزیع ویژگی‌های به دست آمده، با مدل‌های گوسی مورد استفاده در هر حالت مدل HMM منجر می‌شود) استفاده می‌نماییم [22]. در شکل (4) نحوه استخراج ویژگی الگوهای زمانی در روش پیشنهادی نشان داده شده است.

شکل (4): روش پیشنهادی برای استخراج ویژگی TP.