Düşük Maliyetli El Jestleri Tanıma Sistem Tasarımı

Günümüzde el jestleri tanıma; bilgisayarlı görü, örüntü tanıma, insan bilgisayar etkileşimi uygulamaları açısından ilgi çekmekte vekullanılmaktadır. El jestleri algılamada kullanılan popüler sensör tipleri, Kinect, Leap motion ve uçuş süresi (ToF) sensörleridir. Buçalışmada uçuş süresi temelli çalışan optik sensör, mikrodenetleyici, bluetooth modül kullanılarak el hareketlerini gerçek zamanlı olarakalgılayarak komuta dönüştüren kompakt bir sistem tasarlanmıştır. Hareketlerin tanınmasında algılayıcı birim özellikle önemtaşımaktadır. Eldiven tabanlı hareket arabirimleri tipik olarak kullanıcının hantal bir aygıt takmasını ve genellikle aygıtı bir bilgisayarabağlayan bir kablo yükü taşımasını gerektirir. Bu, kullanıcının bilgisayarla etkileşiminin kolaylığını ve doğallığını engeller. Vizyontabanlı sistemlerin ise fiziksel etkilere karşı bağışıklığı daha zayıftır. Sistemin kararlı çalışabilmesi için kullanıcının algılayıcı önündedoğru pozisyonda bulunması ve yeterli ışık altında el hareketlerini yapması gerekmektedir. Bu da kullanımı zorlaştırdığı gibi çeşitlikısıtlamalar da getirmektedir. Optik sensör tabanlı sistemler, uygun maliyet, düşük güç tüketimi ve kolay uygulanabilir özellikleri iletercih edilmektedir. Çalışmamızda kullanılan optik sensör 1 mm hassasiyette, 20cm’ye kadar ölçüm yapabilmektedir. El, parmakhareketleri optik sensör tarafından izlenmekte ve enstrümantal eldiven veya video kamera gibi donanım ekipmanlarına gerek olmaksızınalgılama yapılabilmektedir. Mikrodenetleyici birimi el hareketlerini tanımlamada ve sınıflandırmada kullanılmaktadır. Bluetooth modülüzerinden diğer aygıtlara kontrol sinyalleri gönderilmektedir. Gerçekleştirilen sistem algıladığı dört farklı el hareketini Kapatma/Açma,İleri gitme, Geri gitme ve Tıklama/Seçme hareketi olarak tanımlanan komutlara çevirmektedir.

Low Cost Hand Gesture Recognition System Design

Today, hand gesture recognition attracts and is used in terms of computer vision, pattern recognition and human computer interaction applications. Popular sensor types used in hand gesture recognition detection are Kinect, Leap motion and time of flights sensors. In this study, a compact system designed to detect hand movements in real time and transform them into commands using ToF based optical sensor, microcontroller and bluetooth module. The sensor unit is particularly important in the recognition of movements. Glovebased motion interfaces typically require the user to plug in a bulky device and carry a cable load that connects the device to a computer. This prevents the ease and naturalness of the user's interaction with the computer. Vision-based systems are less immune to physical effects. In order for the system to work stable, the user must be in the correct position in front of the sensor and must make hand movements under sufficient light. This makes it difficult to use as well as introduces various restrictions. Optical sensor based systems are preferred with their affordable cost, low power consumption and easy-to-apply features. The optical sensor used in our study can measure up to 20cm with 1mm sensitivity. Hand and finger movements are monitored by the optical sensor and sensing can be done without the need for hardware equipment such as instrumented gloves or video cameras. Microcontroller unit is used to define and classify hand movements. Control signals are sent to other devices via the Bluetooth module. The realized system translates four different hand gestures it detects into commands defined as Close/Open, Next, Previous and Click/Select.

PDF

___

Pigou, L., Van Den Oord, A., Dieleman, S., Van Herreweghe, M., & Dambre, J. (2018). Beyond temporal pooling: Recurrence and temporal convolutions for gesture recognition in video. International Journal of Computer Vision, 126(2-4), 430-439.
Rautaray, S. S., & Agrawal, A. (2015). Vision based hand gesture recognition for human computer interaction: a survey. Artificial intelligence review, 43(1), 1-54.
Baspinar, U., Varol, H. S., & Yildiz, K. (2012, July). Classification of hand movements by using artificial neural network. In 2012 International Symposium on Innovations in Intelligent Systems and Applications (pp. 1-4). IEEE.
Cheng, H., Yang, L., & Liu, Z. (2015). Survey on 3D hand gesture recognition. IEEE transactions on circuits and systems for video technology, 26(9), 1659-1673.
Mitra, S., & Acharya, T. (2007). Gesture recognition: A survey. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 37(3), 311-324.
Fang, Y., Wang, K., Cheng, J., & Lu, H. (2007, July). A real-time hand gesture recognition method. In 2007 IEEE International Conference on Multimedia and Expo (pp. 995-998). IEEE.
Molchanov, P., Gupta, S., Kim, K., & Kautz, J. (2015). Hand gesture recognition with 3D convolutional neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition workshops (pp. 1-7).
Lu, W., Tong, Z., & Chu, J. (2016). Dynamic hand gesture recognition with leap motion controller. IEEE Signal Processing Letters, 23(9), 1188-1192.
Kurakin, A., Zhang, Z., & Liu, Z. (2012, August). A real time system for dynamic hand gesture recognition with a depth sensor. In 2012 Proceedings of the 20th European signal processing conference (EUSIPCO) (pp. 1975-1979). IEEE.
Oğuz Turan Buruk and Oğuzhan Özcan. GestAnalytics: Experiment and Analysis Tool for Gesture-Elicitation Studies. Proc. DIS '17 Companion.
Mert Canat, Mustafa Ozan Tezcan, Celalettin Yurdakul, Eran Tiza, Buăra Can Sefercik, Idil Bostan, Oăuz Turan Buruk, Tilbe Göksun, and Oăuzhan Özcan. 2016. Sensation: Measuring the Effects of a Human-to-Human Social Touch Based Controller on the Player Experience. Proc. CHI '16, 3944--3955.