İnsan-İHA Etkileşimi İçin Giyilebilir Eldiven Hareketlerinin Sınıflandırılması ve Analizi

Günlük hayatta kullanılan teknolojilere olan ihtiyaçların artmasıyla birlikte bu teknolojilerden biri olan İnsansız Hava Araçları (İHA) kullanımı da oldukça yaygınlaşmaktadır. İHA’lar üzerindeki teknolojik gelişme ve yenilikler İnsan-İHA etkileşimi konusunu ön plana çıkarmıştır. Bu çalışmada İnsan-İHA etkileşimi ve kontrolü sağlamak için giyilebilir akıllı bir eldiven tasarımı önerilmiştir. Gerçekleştirilen eldiven tasarımının temel yapısında; esneklik sensörleri(İvme Ölçer, Gyro, Pusula ve Yükseklik Sensörü) içeren IMU sensör ünitesi ve Arduino Uno gibi donanımlar kullanılarak el hareketlerini tanıma işlemi gerçekleştirilmiştir. Geliştirilen uygulama çatısı, el hareketlerine karşılık gelen değerlerin hangi eksen yönünde hareket olduğunu tespit etmekte ve hareketlere karşı oluşan sinyallerin tespiti noktasında kolaylık sağlamıştır. El hareketinin tespiti için 20 farklı kişiden örnekler alınarak bir veri seti oluşturulmuştur. Oluşturulan veri seti üzerinden sınıflandırma işlemi yapılarak el hareketi türleri belirlenmiştir. Sınıflandırmanın doğruluk oranı %96,8 olarak tespit edilmiştir. Elde edilen hareket sinyallerinin, Unity ortamında tasarladığımız İHA simülasyonu üzerinden test işlemi başarıyla gerçekleştirilmiştir. Sensörlerden alınan sinyaller ve geliştirdiğimiz uygulama çatısı ile hesaplamalar sonucunda elde edilen hareket verileri gerçek zamanlı olarak İHA simülasyonuna gönderilmiş ve İHA kontrol hareketlerinin, el hareketlerince belirlenen komutlara doğru cevaplar verdiği gözlemlenmiştir.

Anahtar Kelimeler:

İnsan-İHA etkileşimi, Giyilebilir teknolojiler, İnsan-Bilgisayar etkileşimi

PDF

___

Referans1 Maher A., Li C., Hu H., Zhang B., " Realtime Human-UAV Interaction Using Deep Learning" , Chinese Conference on Biometric Recognition CCBR 2017: Biometric Recognition pp 511-519, 2017.
Referans2 Lee B., Chung W., "Wearable Glove-Type Driver Stress Detection Using a Motion Sensor," in IEEE Transactions on Intelligent Transportation Systems, vol. 18, no. 7, pp. 1835-1844, July 2017.
Referans3 Bolin J., Crawford C., Macke W., Hoffman J., Beckmann S., Sen S.," Gesture-Based Control of Autonomous UAVs" Proc. of the 16th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2017), 2017, Sao Paulo, Brazil.
Referans4 Wu F., Ramchurn S., Chen X., "Coordinating human-UAV teams in disaster response", International Joint Conference on Artificial Intelligence (IJCAI-16), pp. 1-7, United States, 2016.
Referans5 Tsykunov E., et al. “SwarmCloak: Landing of a Swarm of Nano-Quadrotors on Human Arms.” SIGGRAPH Asia Emerging Technologies 2019.
Referans6 Labazanova L., Tleugazy A., Tsykunov E., Tsetserukou D. SwarmGlove: A Wearable Tactile Device for Navigation of Swarm of Drones in VR Environment, 2019.
Referans7 Jhajharia, S., Pal, S. K., Verma, S. “Wearable computing and its application.”, International Journal of Computer Science and Information Technologies, 5(4), 5700-5704, 2014.
Referans8 Haptic Interaction. AsiaHaptics, Lecture Notes in Electrical Engineering, vol 535. Springer, Singapore https://doi.org/10.1007/978-981-13-3194-7_674, 2018
Referans9 Shin S., Kang Y. and Kim Y., "Hand Gesture-based Wearable Human-Drone Interface for Intuitive Movement Control," IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, NV, USA, 2019, pp. 1-6.
Referans10 Hu, B., Wang, J. . Deep learning based hand gesture recognition and UAV flight controls. International Journal of Automation and Computing, 2020, 17-29.
Referans11 Hu B., Wang J., "Deep Learning Based Hand Gesture Recognition and UAV Flight Controls," 2018 24th International Conference on Automation and Computing (ICAC), Newcastle upon Tyne, United Kingdom, 2018, pp. 1-6.
Referans12 Karaköse M.,Yetiş H.,Müezzinoğlu T. “An Investigation of Vision Based Navigation Methods for Unmanned Aerial Vehicles.” 7th International Conference on Advanced Technologies (ICAT), 483-488, 2018.
Referans13 Yetiş H., Karaköse M., A New Smart Cargo Cabinet Application for Unmanned Delivery in Smart Cities. International Conference on Artificial Intelligence and Data Processing (IDAP), 2018.
Referans14 Rajappa S. “Towards Human-UAV Physical Interaction and Fully Actuated Aerial Vehicles”, Dissertation der Mathematisch-Naturwissenschaftlichen Fakult¨ at der Eberhard Karls Universit at Tubingen zur Erlangung des Grades eines Doktors der Naturwissenschaften, 2017.
Referans15 Augugliaro F., D’Andrea R., " Admittance Control for Physical Human-Quadrocopter Interaction" , European Control Conference (ECC ), Zürich, Switerland, 2013, pp. 1805 - 1810.
Referans16 Stegagno P., Rajappa S., Bülthoff H. H., "Design and Implementation of a Novel Architecture for Physical Human-UAV Interaction", International Journal on Robotics Research, 2017 ,Vol. 36(5–7) 800–819.
Referans17 Cauchard J. R., Jane L. E., Zhai K. Y., Landay J. A., " An Exploration Into Natural Human-Drone Interaction", nternational Joint Conference on Pervasive and Ubiquitous Computing (UbiComp '15), 2015, Osaka, Japan.
Referans18 CHEN, M., ZHANG, P., WU, Z., & CHEN, X. “A multichannel human-swarm robot interaction system in augmented reality” , Virtual Reality & Intelligent Hardware, 2020.
Referans19 Jiao, R., Wang, Z., Chu, R., Dong, M., Rong, Y., & Chou, W. “An Intuitional End-to-End Human-UAV Interaction System for Field Exploration.”, Frontiers in Neurorobotics, 2019, 13, 117.
Referans20 Elfar M., Zhu H., Cummings M. L. and Pajic M., "Security-Aware Synthesis of Human-UAV Protocols," 2019 International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, 2019.