İşitme ve Konuşma Engelli Bireyler için İşaret Tanıma Sistemi Geliştirme
İşaret dili, el hareketlerinin, parmakların, kolların veya vücut hareketinin oryantasyonu ile konuşanın fikirlerini iletmek için yüz ifadeleriyle eş zamanlı olarak yaptıkları hareketlerdir. İşaret dilleri, son yıllarda tüm araştırmacıların gözdesi konumundadır. Yapılan hareketler sensörler yardımı ile tanınabilmektedir. Ancak, hareket verilerinin bilgisayar sistemlerine aktarılması büyük önem taşımaktadır. Alan yazın incelemesi sonucunda bu yönde yapılan çalışmaların yeterli olmadığı belirlenmiştir. Ayrıca, yapılmış çalışmaların daha çok Amerikan İşaret Dili, İngiliz İşaret Dili ve Arap İşaret Dili yönünde olduğu ve Türk İşaret Dili yönünde yapılan çalışmaların yeterli olmadığı tespit edilmiştir. Bu çalışmada, işitme ve konuşma engelli bireylerin diğer bireyler ile iletişimlerini kolaylaştırabilecek akıllı bir sistem geliştirilmiştir. Bu bağlamda yapılan çalışmanın alan yazındaki bu eksikliğin giderilmesine fayda sağlayacağı düşünülmektedir. Çalışma kapsamında geliştirilen akıllı sistemde, Türk İşaret Dili’nde ses bilimi olarak adlandırılan ve işaretlerin de temelini oluşturan 33 tane temel işaret baz alınmıştır. Bu işaretlerin sistem tarafından tanınabilmesi için Microsoft Kinect v2 sensörü kullanılmıştır. Sistemin altyapısında C# programlama dili ile sınıflandırma algoritmalarından Saklı Markov Modeli ve veritabanı olarak da MongoDB kullanılmıştır. Yapılan vaka çalışması sonucunda; 33 temel işaretin %82’inin geliştirilen sistem tarafından doğru bir şekilde tanımlandığı gözlemlenmiştir. Elde edilen doğruluk oranı göz önünde tutularak geliştirilen işaret tanıma sisteminin hem işitme ve konuşma engelli bireylere, hem de diğer bireylere yardımcı olacağı ve aralarındaki iletişim kurma problemini çözeceği düşünülmektedir.
___
- Abdel-Fattah, M, (2005). Arabic sign language: a perspective. The Journal of Deaf Studies and
Deaf Education, 10(2), 212-221.
- Açan, A.Z (2007). A linguistics analysis on basic sentence types in Turkish Sign Languge (TİD)
with reference to non-manual activity. Türk İşaret Dili (TİD)’deki Temel Tümce
Türlerinin El-Dışı Göstergeler Açısından Dilbilimsel İncelemesi) (Yayınlanmamış
doktora tezi) Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara, Türkiye.
- Akmeliawati, R., Ooi, M.P.L. & Kuang. Y. (2007). Real-time Malaysian sign language
translation using colour segmentation and neural network. IEEE Instrumentation &
Measurement Technology Conference IMTC (s. 1-6). Warsaw.
- Chuan, C. H., Regina, E. & Guardino, C. (2014). American Sign Language recognition using
leap motion sensor. 13th International Conference on Machine Learning and
Applications, (s. 541-544). Detroit.
- Demircioğlu, B., Bülbül, G. & Köse, H. (2016). Turkish Sign Language recognition with Leap
Motion. 24th Signal Processing and Communication Application Conference (SIU) (s.
589-592).
- Elons, A. S., Ahmed, M., Shedid, H. & Tolba , M. F. (2014). Arabic Sign Language recognition
using Leap Motion Sensor. 9th International Conference on Computer Engineering &
Systems (ICCES), (s. 368-373). Cairo.
- Fatmi, R., Rashad, S., Integlia, R. & Hutchison, G. (2017). American Sign Language
recognition using Hidden Markov Models and wearable motion sensors. Transactions on
Machine Learning and Data Mining, 10(2), 41-55.
- Fenlon, J. & Wilkinson, E. (2015). Sign languages of the world. Sociolingustics and Deaf
Communities, (s. 5-28) Cambridge: Cambridge University Press.
- Gülağız, F. K., Özcan, H. & Şahin, S. (2017). An interactive Turkish Sign Language learning
application using Leap Motion Controller. International Conference on Advanced
Technology and Sciences. (s. 93-96). Riga: Letonya.
- Işıkdoğan-Uğurlu, N. (2017). İşitme engelli okuyucuların okuma sürecinde Türkçenin
ve Türk İşaret dilinin biçim-sözdizim özellikleri. Ankara Üniversitesi Eğitim
Bilimleri Fakültesi Özel Eğitim Dergisi, 18(2), 291-308.
- Jingqiu, W. & Ting, Z. (2014). An ARM-based embedded gesture recognition system using a
data glove. 26th Chinese Control and Decision Conference (2014 CCDC), (s. 1580-1584).
Changsha.
- Kubus, O. (2008). An analysis of Turkish Sign Language (TID) phonology and morphology.
Yüksek lisans Tezi, Orta Doğu Teknik Üniversitesi.
- Lei, L. & Dashun, Q. (2015). Design of data-glove and Chinese sign language recognition
system based on ARM9. 12th IEEE International Conference on Electronic Measurement
& Instruments (ICEMI), (s. 1130-1134.). Qingdao.
- Lewis, M. P., Simons, G. F. & Fennig, C. D. (Eds.) (2013). Deaf sign language. Ethnologue:
Languages of the World (17th ed.), World Health Organisation - Fact Sheet No. 300,
Updated March 2015, SIL International (accessed 3 December 2013).
- Madabhushi, A. & Aggarwal, J. K. (2000). Using head movement to recognize activity. 15th
International Conference on Pattern Recognition (s. 698-701). IEEE: Barcelona, Spanya.
- Mapari, R. B. & Kharat, G. (2015). Real time human pose recognition using leap motion sensor.
IEEE International Conference on Research in Computational Intelligence and
Communication Networks (ICRCICN), (s. 323-328). Kolkata.
- Preetham, C., Ramakrishnan, G. & Kumar, S. (2013). Hand Talk-Implementation of a Gesture
Recognizing Glove. Texas Instruments India Educators’ Conference, (s. 328-331).
Bangalore.
- Segen, J. & Kumar, S. (1999). Shadow gestures: 3D hand pose estimation using a single camera.
IEEE International Conference on Computer Vision and Pattern Recognition (s. 1479-
1485) IEEE: Fort Collins, CO, USA.
- Starner, W. (1998). A Real-time American Sign Language recognition using desk and wearable
computer based video. IEEE Transactions on Pattern Analysis and Machine Intelligence,
20(12), 371-1375.
- Stokoe, W. C., Casterline, D. C. & Croneberg, C. G. (1965). A dictionary of American sign
language on linguistic principles. Gallaudet College Press.
- Vogler , C. & Metaxas, D. (1988). ASL recognition based on a coupling between HMMs and
3D motion analysis. International Conference on Computer Vision (s. 363-369). IEEE.
- Yalçınkaya, Ö., Atvar, A. & Duygulu, P. (2016). Turkish Sign Language recognition
application using motion history image. 24th Signal Processing and Communication
Application Conference (SIU) (s. 801-804) IEEE: Zonguldak,Türkiye.
- Amon, C. & Fuhrmann, F. (2014). Evaluation of the spatial resolution accuracy of the face
tracking system for Kinect for Windows v1 and v2. 6th Congress of Alps-Adria Acoustics
Assosiation 16.-17. October 2014. Graz, Austria. Ulaşım Tarihi: (30.06.2019)
https://pdfs.semanticscholar.org/b4d0/8a2ceb8083f097271cbbf38d39c086c4708f.pdf
Dong, C. (2015). American Sign Language alphabet recognition using Microsoft Kinect.
Yüksek Lisans Tezi, 7392. Ulaşım Tarihi: (29.06.2019)
http://scholarsmine.mst.edu/masters_theses/7392
- Goverment, U. (2011). UK Goverment Services. The best place to find government services
and information: Ulaşım Tarihi: (30.06.2019)
https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment
_data/file/321594/disability-prevalence.pdf
- Haberdar, H. (2005). Saklı Markov Modeli kullanılarak görüntüden gerçek zamanlı Türk İşaret
Dili tanıma sistemi. Ulaşım Tarihi: (07.01.2019)
http://dspace.yildiz.edu.tr:8080/xmlui/bitstream/handle/20.500.11871/1246/0023899.pd
f?sequence=1&isAllowed=y
- Mangera, R. (2013). Static gesture recognition using features extracted from skeletal data.
Ulaşım Tarihi: (08.01.2019) http://www.prasa.org/proceedings/2013/prasa2013-09.pdf
- Microsoft. (2014). Microsoft Download Center. Ulaşım Tarihi: (07.01.2019)
https://www.microsoft.com/en-us/download/details.aspx?id=44561
- Office for National Statistics. (2011). 2011 Census: Quick Statistics for England and Wales,
March 2011. Office for National Statistics. Ulaşım Tarihi: (07.01.2019)
https://www.ons.gov.uk/peoplepopulationandcommunity/populationandmigration/popul
ationestimates/bulletins/2011censusquickstatisticsforenglandandwales/2013-01-30/pdf
- Perlmutter, D. M. (2018). What is sign language? Ulaşım Tarihi: (29.06.2018)
https://www.linguisticsociety.org/content/what-sign-language
- Pterneas, V. Github. Çevrimiçi: (30.05.2016) https://github.com/LightBuzz/Kinect-Finger-Tracking
Research, M. (2011). Microsoft Research Center. Ulaşım Tarihi: (30.06.2018)
- https://www.microsoft.com/en-us/research/blog/microsoft-research-and-the-kinect-effect/
Souza, C. R. (2014). Accord.NET Framework. Ulaşım Tarihi: (07.01.2019) http://accordframework.net
- Tazhigaliyeva, N., GermanI, P., Yerniyaz, N. & Sandygulova, A. (2016). SLIRS: SignLanguage
Interpreting System for Human-Robot Interaction. Ulaşım Tarihi: (30.06.2018)
https://www.aaai.org/ocs/index.php/FSS/FSS16/paper/download/14101/13672
- Tüfekçioğlu, U. (1998). İşitme Engelliler. Eskişehir: Anadolu Üniversitesi Açıköğretim
Yayınları. Ulaşım Tarihi: (24.06.2018) http://content.lms.sabis.sakarya.edu.tr/
Uploads/79408/49984/unite08_i%C5%9Fitme_engelliler.pdf
- TÜİK. (2011). Nüfus ve Konut Araştırması. Ulaşım Tarihi: (03.05.2018)
http://www.tuik.gov.tr/PreHaberBultenleri.do?id=15843