استخدام نماذج VGG بخرائط ميزات الطبقة المتوسطة للتعرف على الايماءات الثابتة لليد
DOI:
https://doi.org/10.21123/bsj.2023.7364الكلمات المفتاحية:
الشبكات العصبية التلافيفية، التعلم العميق، التعرف على إيماءات اليالملخص
يوفر نظام التعرف على إيماءات اليد حلاً قويًا ومبتكرًا للاتصال غير اللفظي من خلال التفاعل بين الإنسان والحاسوب. تتمتع نماذج التعلم العميق بإمكانيات ممتازة لاستخدامها في تطبيقات التعرف. للتغلب على المشكلات ذات الصلة ، اقترحت معظم الدراسات السابقة هياكل نموذجية جديدة أو قامت بضبط النماذج المدربة مسبقًا. علاوة على ذلك ، اعتمدت هذه الدراسات على مجموعة بيانات قياسية واحدة للتدريب والاختبار. وبالتالي، فإن دقة هذه الدراسات معقولة. على عكس هذه الأعمال، تبحث الدراسة الحالية في نموذجين للتعلم العميق مع طبقات وسيطة للتعرف على صور إيماءات اليد الثابتة. تم اختبار كلا النموذجين على مجموعات بيانات مختلفة ، وتم تعديلهما ليناسب مجموعة البيانات ، ثم تم تدريبهما وفقًا لأساليب مختلفة. أولاً ، تمت تهيئة النماذج باستخدام أوزان عشوائية وتم تدريبها من نقطة الصفر. بعد ذلك ، تم فحص النماذج المدربة مسبقًا على أنها مستخرجة من الميزات. أخيرًا ، تم ضبط النماذج المدربة مسبقًا باستخدام طبقات وسيطة. تم إجراء الضبط الدقيق على ثلاثة مستويات: المستوى الخامس والرابع والثالث على التوالي. تم تقييم النماذج من خلال تجارب التعرف باستخدام إيماءات اليد في لغة الإشارة العربية المكتسبة في ظل ظروف مختلفة. توفر هذه الدراسة أيضًا مجموعة بيانات جديدة لصورة إيماءات اليد المستخدمة في هذه التجارب، بالإضافة إلى مجموعتي بيانات أخريين. تشير النتائج التجريبية إلى أنه يمكن استخدام النماذج المقترحة مع الطبقات المتوسطة للتعرف على صور إيماءات اليد. علاوة على ذلك ، أظهر تحليل النتائج أن الضبط الدقيق للكتلتين الخامسة والرابعة من هذين النموذجين حقق أفضل نتائج دقة. على وجه الخصوص ، كانت دقة الاختبار على مجموعات البيانات الثلاث 96.51٪ و 72.65٪ و 55.62٪ عند ضبط الكتلة الرابعة و 96.50٪ و 67.03٪ و 61.09٪ عند ضبط الكتلة الخامسة للنموذج الأول. أظهرت دقة الاختبار للنموذج الثاني نتائج مماثلة تقريبًا
Received 28/4/2022, Revised 8/10/2022, Accepted 9/10/2022, Published Online First 20/2/2023
المراجع
Bragg D, Koller O, Bellard M, Berke L, Boudreault P, Braffort A, et al. Sign language recognition, generation, and translation: An interdisciplinary perspective. The 21st Int Acm Sigac- Cess Conf Comp Access. 2019; 16-31.
Venugopalan A, Reghunadhan R. A Deep Convolutional Neural Network Approach for Static Hand Gesture Recognition. Procedia Comput Sci. 2020; 171: 2353-2361.
Oyedotun OK, Khashman A. Deep learning in vision-based static hand gesture recognition. Neural Comput Appl. 2017; 28: 3941-3951.
Sharma S, Singh S. Vision-based hand gesture recognition using deep learning for the interpretation of sign language. Expert Syst Appl. 2021. 182: 1-12.
Ding I J, Zheng N W, Hsieh M C. Hand gesture intention-based identity recognition using various recognition strategies incorporated with VGG convolution neural network-extracted deep learning features. J Intell Fuzz Syst. 2021; 40: 7775-7788.
Oudah M, Al-Naji A, Chahl J. Hand Gesture Recognition Based on Computer Vision: A Review of Techniques. J Imaging. 2020; 6: 1-29.
Alzohairi R, Alghonaim R, Alshehri W, Aloqeely S. Image based Arabic Sign Language recognition system. Int J Adv Comput Sci Appl. 2018; 9: 185-194.
Suharjito Anderson R, Wiryana F, Ariesta M C, Kusuma G P. Sign Language Recognition Application Systems for Deaf-Mute People: A Review Based on Input-Process-Output. Procedia Comput Sci. 2017; 116: 44- 448.
Asroni A, Ku-Mahamud KR, Damarjati C, Slamat HB. Arabic Speech Classification Method Based on Padding and Deep Learning Neural Network. Baghdad Sci J [Internet]. 2021Jun.20 [cited 2022Sep.11]; 18(2(Suppl.): 0925. Available from: https://bsj.uobaghdad.edu.iq/index.php/BSJ/article/view/6213.
Mahmood RAR, Abdi A, Hussin M. Performance Evaluation of Intrusion Detection System using Selected Features and Machine Learning Classifiers. Baghdad Sci.J [Internet]. 2021Jun.20 [cited 2022Sep.11]; 18(2(Suppl.): 0884. Available from: https://bsj.uobaghdad.edu.iq/index.php/BSJ/article/view/6210.
Hayani S, Benaddy M, El Meslouhi O, Kardouchi M. Arab Sign Language Recognition with Convolutional Neural Networks. Int Conf Comp Sci Renew Energies. 2019; 1-4.
Saleh Y, Issa GF. Arabic sign language recognition through deep neural networks fine-tuning. Int J Online Biomed Eng. 2020; 16: 71-83.
Alshazly H, Linse C, Barth E, Martinetz T. Ensembles of Deep Learning Models and Transfer Learning for Ear Recognition. Sens. 2019; 19: 1-26.
Chung H Y, Chung Y L, Tsai W F. An Efficient Hand Gesture Recognition System Based on Deep CNN. IEEE Int Conf Ind Technol. 2019; 853-858.
Sokhib T, Whangbo TK. A combined method of skin-and depth-based hand gesture recognition. Int Arab J Inf Technol. 2020; 17: 137-145.
Odartey LK, Huang Y, Asantewaa EE, Agbedanu PR. Ghanaian Sign Language Recognition Using Deep Learning. PRAI 19: Proceedings of the 2019 the International Conference on Pattern Recognition and Artificial Intelligence. 2019; 81-86.
Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. ArXiv. 2015; 1-14.
Alani AA, Cosma G. ArSL-CNN: A convolutional neural network for Arabic sign language gesture recognition. Indones J Electr Eng Comput Sci. 2021; 22: 1096-1107.
Latif G, Mohammad N, AlKhalaf R, AlKhalaf R, Alghazo J, Khan MA. An Automatic Arabic Sign Language Recognition System based on Deep CNN: An Assistive System for the Deaf and Hard of Hearing. Int J Comput Digit Syst. 2020; 9: 715-724.
Alshomrani S, Aljoudi L, Arif M. Arabic and American Sign Languages Alphabet Recognition by Convolutional Neural Network. Adv Sci Technol Res J. 2021; 15: 136-148.
Duwwairi RM, Halloush ZA. Automatic recognition of Arabic alphabets sign language using deep learning. Int J Electr Comput Eng. 2022; 12: 2996-3004.
Latif G, Mohammad N, Alghazo J, AlKhalaf R, AlKhalaf R. ArASL: Arabic Alphabets Sign Language Dataset. Data Brief. 2019; 23: 1-4.
Chollet F. Deep Learning with Python. 1 st ed. Shelter Island: Manning Publications. 2018 Chap.5. p. 154.
Abadi M, Agarwal A, Barham P, Brevdo E, Chen Z, Citro C, et al. TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems. Arxiv. 2016 Mar; Available from: https://arxiv.org/abs/1603.04467.
Alnuaim A, Zakariah M, Hatamleh WA, Tarazi H, Tripathi V, Amoatey ET. Human-Computer Interaction with Hand Gesture Recognition Using ResNet and MobileNet. Comput Intell Neurosci. 2022; 2022: 1-16.
Zakariah M, Alotaibi YA, Koundal D, Guo Y, Elahi MM. Sign Language Recognition for Arabic Alphabets Using Transfer Learning Technique. Comput Intell Neurosci. 2022; 2022: 1-15.
التنزيلات
منشور
إصدار
القسم
الرخصة
الحقوق الفكرية (c) 2023 مجلة بغداد للعلوم
هذا العمل مرخص بموجب Creative Commons Attribution 4.0 International License.