دانشگاه اصفهان هوش محاسباتی در مهندسی برق 2821-0689 16 1 2025 04 21 Face and Speech Emotion Recognition Using GSOAR Model تشخیص احساسات چهره و گفتار بااستفاده از مدل GSOAR 59 74 30048 10.22108/isee.2025.140659.1675 FA متین رمضانی شهرستانی گروه مهندسی کامپیوتر، واحد رشت، دانشگاه آزاد اسلامی، رشت، ایران سارا معتمد گروه کامپیوتر، واحد فومن و شفت ، دانشگاه آزاد اسلامی ، فومن، ایران محمدرضا یمقانی گروه مهندسی کامپیوتر، واحد لاهیجان، دانشگاه آزاد اسلامی، لاهیجان، ایران Journal Article 2024 02 07 In recent years, dynamic emotion recognition has become a crucial component for enhancing natural human-computer interaction. This paper proposes an advanced method for recognizing emotions in video files by combining facial and speech features, with a novel focus on improving the segmentation process to enhance recognition accuracy. The approach utilizes facial images and speech signals as the two primary inputs, which are integrated through an improved deep architecture. Feature fusion occurs at the extraction stage, employing an enhanced spectrogram for speech signals and AlexNet for both facial expression analysis and speech emotion recognition. To further enhance the accuracy of emotion recognition, the segmentation of extracted facial images is optimized using the Grey Wolf Optimization (GWO) algorithm, a powerful evolutionary technique inspired by the hunting behavior of grey wolves. This algorithm ensures better segmentation by adaptively dividing facial regions into meaningful parts, providing more informative features for dynamic recognition tasks. Feature selection is performed using Correlation-Based Feature Selection (CFS), while information fusion is guided by the SOAR cognitive model. The dynamic aspects of emotion recognition are addressed by employing dynamic deep learning techniques to implement the SOAR model. The proposed model is tested on the RAVDESS dataset, achieving an impressive accuracy of 91.23%, which demonstrates the effectiveness of the GWO algorithm in segmentation alongside multimodal fusion for dynamic emotion recognition. احساسات یک محرک مهم در تصمیم گیری و ارتباطات انسانی است. با افزایش اخیر تعامل انسان و رایانه، محاسبات عاطفی به یک موضوع تحقیقاتی پرطرفدار تبدیل شده است، با هدف توسعه سیستم‌های محاسباتی که می‌توانند احساسات انسان را درک کرده و به آنها پاسخ دهند. ماشین‌ها، درست مانند انسان‌ها، تشخیص احساسات را از طریق نشانه‌های مختلف به دست آمده از اهداف انجام می‌دهند. در سال‌های اخیر، تشخیص احساسات به‌عنوان روشی جدید برای تعامل انسان و رایانه مورد توجه محققان قرار گرفته است. هدف از این مقاله ارائه روشی کارآمد برای تشخیص حالات عاطفی از تصاویر چهره بر اساس مدل آمیخته یادگیری عمیق و مدل شناختی است. همچنین به منظور بهبود مدل، از 3DCNN-LA که یک نوآوری در مدل پیشنهادی است، برای افزایش نرخ تشخیص استفاده شده است. برای افزایش کارایی 3DCNN، وزن پارامترهای 3DCNN توسط LA تنظیم می شود. تمامی تست ها بر روی پایگاه داده eNTERFACE' 05 انجام شده و دقت تشخیص مدل ارائه شده در بهترین حالت برابر با 85.3% می باشد. https://isee.ui.ac.ir/article_30048_e93b9f91375c56d48ba4794f052f9d45.pdf