Dış Ortam Görüntülerindeki İnsan Hareketlerinin Hibrit Derin Öğrenme Yöntemleri Kullanarak Sınıflandırılması

Bu makale çalışmasında, dış ortam görüntülerinde yer alan insan hareketlerinin otomatik sınıflandırılması için hibrit bir derin öğrenme yaklaşımı önerilmiştir. İlk olarak, dış ortamdan çekilen görüntü içerisindeki kişilerin tespiti sağlanmıştır. Bu amaçla, literatürde yaygın olarak kullanılan önceden eğitilmiş derin nesne tespit aracı olan YOLO kullanılmıştır. Dış ortam görüntülerinin elde edilmesinde Google street view platformu tercih edilmiştir. Daha sonra tespit edilen kişiler için hareket sınıfları oluşturulmuştur. Bu hareket sınıfları; sağa yürüme, sola yürüme, ayakta durma ve oturma şeklindedir. Böylece dış ortam görüntülerinden tespit edilen kişiler için kapsamlı bir veri seti oluşturulmuştur. Sınıfları belirlenen verilerin otomatik olarak tanınması işlemi için bir konvolüsyonel sinir ağı (KSA) modeli tasarlanmıştır. Eğitimi tamamlanan bu model, YOLO nesne tespit sistemi ile hibrit bir şekilde kullanılarak giriş görüntüsü içerisindeki kişi hareketlerinin otomatik olarak tanınmasını sağlamıştır. Makale kapsamında, dört sınıflı bir veri seti oluşturularak önerilen sistemin performans değerlendirmeleri yapılmıştır.

___

  • 1. Dhamsania, C. J., & Ratanpara, T. V. (2016). A survey on Human action recognition from videos. Online International Conference on In Green Engineering and Technologies, 1-5. 2. Geronimo, D., Lopez, A. M., Sappa, A. D., & Graf, T. (2010). Survey of pedestrian detection for advanced driver assistance systems. IEEE transactions on pattern analysis and machine intelligence, 32(7): 1239-1258. 3. Ouyang, W., Zeng, X., & Wang, X. (2016). Learning mutual visibility relationship for pedestrian detection with a deep model. International Journal of Computer Vision, 120(1): 14-27. 4. Aguilar, W. G., Luna, M. A., Moya, J. F., Abad, V., Parra, H., & Ruiz, H. (2017). Pedestrian detection for UAVs using cascade classifiers with meanshift. In Semantic Computing (ICSC), 509-514. 5. Thomas B. Moeslund, Adrian Hilton, Volker Krüger, (2006). A survey of advances in vision-based human motion capture and analysis, Computer Vision and Image Understanding, 104 (2–3) 90–126. 6. Cheng, G., Wan, Y., Saudagar, A. N., Namuduri, K., & Buckles, B. P. (2015). Advances in human action recognition: A survey. arXiv preprint arXiv:1501.05964. 7. Aggarwal, J. K., & Ryoo, M. S. (2011). Human activity analysis: A review. ACM Computing Surveys, 43(3): 16. 8. Chaudhary, A., Raheja, J. L., Das, K., & Raheja, S. (2011). A survey on hand gesture recognition in context of soft computing. In International Conference on Computer Science and Information Technology 133: 46-55. 9. Weinland, D., Ronfard, R., Boyer, E., (2011). A survey of vision-based methods for action representation, segmentation and recognition. Computer Vision and Image Understanding 115: 224–241. 10. Yu, G., & Yuan, J. (2015). Fast action proposals for human action detection and search. In Proceedings of the IEEE conference on computer vision and pattern recognition, 1302-1311. 11. Baccouche, M., Mamalet, F., Wolf, C., Garcia, C., & Baskurt, A. (2011). Sequential deep learning for human action recognition. In International Workshop on Human Behavior Understanding, 7065: 29-39. 12. Eroglu, H., Gokce, C. O., & Ilk, H. G. (2014, April). Human action recognition via spatial and temporal methods. In Signal Processing and Communications Applications Conference (SIU), 2014 22nd, 104-107. 13. Niebles, J. C., Wang, H., & Fei-Fei, L. (2008). Unsupervised learning of human action categories using spatial-temporal words. International journal of computer vision, 79(3): 299-318. 14. Schuldt, C., Laptev, I., & Caputo, B. (2004). Recognizing human actions: a local SVM approach. In Pattern Recognition, 3: 32-36. 15. Ji, S., Xu, W., Yang, M., & Yu, K. (2013). 3D convolutional neural networks for human action recognition. IEEE transactions on pattern analysis and machine intelligence, 35(1): 221-231. 16. Rahmani, H., Mian, A., & Shah, M. (2017). Learning a deep model for human action recognition from novel viewpoints. IEEE Transactions On Pattern Analysis and Machine Intelligence, 40(3), 667-681. 17. Simonyan, K., & Zisserman, A. (2014). Two-stream convolutional networks for action recognition in videos. In Advances In Neural Information Processing Systems, 27: 68-576. 18. İnternet Erişimi (2018): http://fortune.com/ai-artificial-intelligence-deep-machine-learning/ 19. Coşkun, M., Yildirim, Ö., Uçar, A. & Demir, Y. (2017). An Overview of Popular Deep Learning Methods. European Journal of Technique, 7(2): 165-176. 20. Gehring, J., Miao, Y., Metze, F., & Waibel, A. (2013). Extracting deep bottleneck features using stacked auto-encoders. In Acoustics, Speech and Signal Processing (ICASSP), 3377-3381. 21. Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 779-788. 22. Redmon, J., & Farhadi, A. (2017). YOLO9000: better, faster, stronger. arXiv preprint. 23. Koçer, S., & Akdağ, A. (2017). Convolutional neural network based handgun detection. In Computer Science and Engineering (UBMK), 89-93. 24. LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE 86(11): 2278-2324. 25. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems 25: 1097-1105. 26. Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., ... & Rabinovich, A. (2015). Going deeper with convolutions. Computer Vision and Pattern Recognition, 1-9. 27. Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556. 28. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. Computer Vision and Pattern Recognition, 770-778. 29. Yildirim Ö. (2018). A novel wavelet sequences based on deep bidirectional LSTM network model for ECG signal classification; Computers in Biology and Medicine; 2018; 96: 189 – 202. 30. Yildirim, Ö., San Tan, R., & Acharya, U. R. (2018). An efficient compression of ECG signals using deep convolutional autoencoders. Cognitive Systems Research, 52:198-211. 31. Uçar, A., Demir, Y., & Güzeliş, C. (2017). Object recognition and detection with deep learning for autonomous driving applications. Simulation, 93(9), 759-769.
Fırat Üniversitesi Mühendislik Bilimleri Dergisi-Cover
  • ISSN: 1308-9072
  • Yayın Aralığı: Yılda 2 Sayı
  • Başlangıç: 1987
  • Yayıncı: FIRAT ÜNİVERSİTESİ
Sayıdaki Diğer Makaleler

Dış Ortam Görüntülerindeki İnsan Hareketlerinin Hibrit Derin Öğrenme Yöntemleri Kullanarak Sınıflandırılması

Özlem ALGUR, Vedat TÜMEN, Özal YILDIRIM

Manyetik Rezonanslı Kuplaj ile Kablosuz Enerji Transferinde Hizalanmış ve Hizalanmamış Durumların Limitlerinin İncelenmesi

Ali AĞÇAL, Nur BEKİROĞLU, Selin ÖZÇIRA

Elektrik İletim Operatörleri için DigSilent PowerFactoryTM ve Siemens Simatic WinCCTM SCADA Yazılımı Entegrasyonu ile Geliştirilen Eğitim Simülatörü

Osman Bülent TÖR, Kadir ÖZEN, Burak ÖZÇELİK, Gürol ÜNVER, Mahmut Erkut CEBECİ

Enerji Depolama Sistemlerinin Farklı Kullanım Zamanlarının Elektrik Sistemine Olan Etkisi

Mustafa Erdem SEZGİN, Mehmet Uğur GÜDELEK, Efe ARIN, Cem Recai ÇIRAK, Murat GÖL

Tümleşik Modüler Motor Sürücü Sistemi Tasarımı

Mesut UĞUR, Ozan KEYSAN

Konutların Günlük Elektrik Güç Tüketimi Tahmini İçin Uygun Model Seçimi

Aykut ÇAYIR, İşıl YENİDOĞAN, Hasan DAĞ

Derin Öğrenme ile FTIR Sinyallerinden Kolon Kanseri Riskinin Belirlenmesi

Suat TORAMAN, İbrahim TÜRKOĞLU

Endüstriyel Uygulamalarda Kullanılan Asenkron Motorlarda IE2 Verim Sınıfından IE4 Verim Sınıfına Geçiş Amaçlı Bir Çalışma

Çağlar ACAR, Osman Can SOYGENÇ, Lale T. ERGENE

Asenkron Makinaların Değişken Anahtarlama Noktalı Model Öngörülü Akım Kontrolü

Çiğdem Gündoğan TÜRKER, Petros KARAMANAKOS, Ralph KENNEL

BOYUT ETKİSİNİN MARTENSİT FAZ DÖNÜŞÜMÜNDEKİ ROLÜNÜN MOLEKÜLER DİNAMİK SİMÜLASYON YÖNTEMİ İLE İNCELENMESİ

Oğuzhan ORHAN, Soner ÖZGEN