İsa AVCI, Mehmet YILDIRIM

Görme Engelli Bireyler İçin Derin Öğrenme Tabanlı Nesne Tanıma Modeli

Görme engelli bireylerin sayısı her geçen gün artmaktadır ve Türkiye nüfusu içinde görme engelli oranı %0,3’ tür. Görme engelli bireyler fiziksel erişilebilirlik sorunları ve teknolojinin yeterince onlara uygun şekilde gelişim gösterememesi gibi nedenlerden dolayı sosyal yaşamda çok fazla yer alamamaktadırlar. Görme engelli bireylerin yaşam kalitesini arttırmak ve sosyal yaşam olanağı sağlamak amacıyla, yanı başlarında yardımcı olacak bu uygulama ile onlara günlük hayatta kolaylık sağlayacak ve bu bireylerin yaşam açısından zevk almaları sağlanacaktır. Bu çalışma, görme engelli bireyler için göz olacak ve etrafındaki nesneleri, uygulama sayesinde ve kamera aracılığıyla görüntüleyebileceklerdir. Ayrıca seslendirmeler sayesinde onlar için etraflarında nelerin olduğu konusunda farkındalıkları artacaktır. Seslendirdiği yön ve gördüğü nesneler sayesinde kişinin ne yapacağı, hangi tarafa yönleneceği hakkında bilgi sahibi olması sağlanmış olacaktır. Böylelikle bu bireyler yalnız başlarına dışarı çıkıp dolaşma kolaylığına sahip olacaklardır. Bu çalışma da, açık kaynak kodlu yapay sinir ağı kütüphanesi olan Darknet kütüphanesi kullanılıp, nesne tespiti yapmak için YOLO algoritmasının önceden eğitilmiş modeli kullanılmıştır. Bilgisayar ortamında işlem yapılması için, QT Designer programı ile kullanıcı ara yüzü tasarlanmıştır. Önerilen bu modelde 81 adet nesnenin yapay sinir ağı modeli ile eğitimi yapılarak, nesneleri tanıması gerçekleştirilmiştir. Bu çalışmada, görme engelli bireyler için derin öğrenme tabanlı nesne tanıma modeli önerilmiştir.

Anahtar Kelimeler:

Bilgisayarlı Görme Teknikleri, YOLO Algoritması, Görme Engelli Bireyler, Derin Öğrenme, Gerçek Zamanlı Nesne Tanıma.

Deep Learning-Based Object Recognition Model For Visually Impaired Individuals

The number of visually impaired individuals is increasing day by day and the rate of visually impaired in Turkey's population is 0.3%. Visually impaired individuals cannot take part in social life very much in terms of social relations due to reasons such as physical accessibility problems and the insufficient development of technology. This application, which will help visually impaired individuals with the aim of increasing their quality of life and providing social life opportunities, will provide convenience in their daily life and ensure that these individuals are happy in terms of life. This work will be an eye for visually impaired individuals and they will be able to view the objects around them through the application and the camera. In addition, thanks to the voice-overs, their awareness of what is around them will increase. Thanks to the direction he voices and the objects he sees, it will be ensured that the person has information about what to do and which way to go. In this way, these individuals will have the convenience of going out and wandering alone. In this study, the Darknet library, which is an open-source artificial neural network library, was used and a pre-trained model of the YOLO algorithm was used to detect objects. The user interface was designed with the Qt Designer program for processing in the computer environment. In this proposed model, 81 objects were trained with the artificial neural network model and the objects were recognized. In this study, a deep learning-based object recognition model is proposed for visually impaired individuals.

Keywords:

Computer Vision Techniques, Yolo Algorithm, Visually Impaired Individuals, Deep Learning, Real-Time Object Recognition.,

PDF

___

Atılım Üniversitesi. (2021) http://user.atilim.edu.tr/~murat.karakaya/projects/Logo%20Tanima.pdf (Erişim tarihi: )
Bauer, Z., Dominguez, A., Cruz, E., Donoso, F. G., Escolano, S., Cazorla, O. M. (2020). Enhancing perception for the visually impaired with deep learning techniques and low-cost wearable sensors. Pattern Recognition Letters, 137, 27-36.
Derin Öğrenme. (2017). https://www.derinogrenme.com /2017/03/04/yapay-sinir-aglari. (Erişim tarihi: 22.08.2021)
Derin Öğrenme. (2021) https://www.smartmind.com.tr/yapay-ogrenmenin-machine-learning-kullanim-alanlari-i-930. (Erişim tarihi: 12.08.2021)
Fatima, M., Pasha, M. (2017). Survey of machine learning algorithms for disease diagnostic, Scientific Research, 9 (1), 1-16.
Karahasan, B. (2021) Pyqt nedir? qt designer nedir? python arayüz tasarımı. https://birhankarahasan.com/pyqt-nedir-qt-designer-nedir-python-arayuz-olusturma. (Erişim tarihi: 21.08.2021)
Luckey, D., Fritz, H., Legatiuk, D., Dragos, K., Smarsly, K. (2020). Artificial Intelligence Techniques for Smart City Applications. Springer, 98, 3-15.
Metlek, S., Kayaalp, K. (2021). Detection of bee diseases with a hybrid deep learning method, Journal of the Faculty of Engineering and Architecture of Gazi University, 36 (3),1715-1731.
Mevlâna Kalkınma Ajansı. (2021) https://www.mevka.org.tr/Yukleme/Uploads/Dsyahvsky10282019100107AM.pdf (Erişim tarihi:18.08.2021)
Özkaya, U., Öztürk, Ş., Melgani, F., & Seyfi, L. (2021). Residual CNN+ Bi-LSTM model to analyze GPR B scan images. Automation in Construction, 123, 103525.
Öztemel, E. (2012). Yapay sinir ağları. Rifat Çölkesen, Papatya Yayıncılık, İstanbul.
Pjreddie. (2021) YOLO: Real-Time Object Detection. https://pjreddie.com/darknet/YOLO. (Erişim tarihi: 27.08.2021)
Qt Designer Manual. (2021) https://doc.qt.io/qt-5/qtdesigner-manual.html. (Erişim tarihi: 28.08.2021)
Rahman, W., Tashfia, S.S., Islam, R., Hasan, M., Sultan, S., Mia, S., Rahman, M. M. (2021). The architectural design of smart blind assistant using IoT with deep learning paradigm. Internet of Things, 13.
Sait, U., Ravishankar, V., Kumar, T., Bhaumik, R., Lal, G., Bhalla, K., Sanjay, K. S. (2020). Design and development of an assistive device for the visually impaired. Procedia Computer Science, 167, 2244-2252.
Sas.(2021)https://www.sas.com/en_us/insights/analytics/machine-learning.html. (Erişim tarihi: 22.08.2021)
Sreeraj, M., Joy, J., Kuriakose, A., Bhameesh, M. B., Babu, A. K., Kunjumon, M. (2020). VIZIYON: Assistive handheld device for visually challenged. Procedia Computer Science, 171, 2486-2492.
Tübav, B. (2020). Real-time vehicle detection by using deep learning methods, Journal of the Faculty of Engineering and Architecture of Gazi University, 13 (3), 1-14.
Veri Gazeteciliği. (2021) http://www.verigazeteciligi.com/solo-proje-turkiyede-gorme-engellilere-ozel-egitim-veren-sadece-17-ilkokul-var (Erişim tarihi:28.08.2021)