20523

Büyük ölçekli veri setleri için GPU hızlandırmalı melez bir GA-DVM: CuGA-DVM

Bu çalışmada Genetik Algoritma (GA) ve Destek Vektör Makinelerinden (DVM) oluşan melezbir yöntemin CUDA (Compute Unified Device Architecture-Birleşik Hesaplama AygıtMimarisi) tabanlı hız optimizasyonu gerçekleştirilmiştir. Makine öğrenmesinde, geliştirilenyöntemlerin yüksek doğruluk değerlerinde başarı vermesi hedeflenir. Ayrıca önerilenalgoritmanın sonuçları bulurken hızlı bir şekilde çalışması da yine hedeflenen bir durumdur. Buçalışmada, özellikle gerçek zamanlı uygulamalarda önemli bir parametre olan hız parametresidikkate alınmakta ve verilerin hızlı bir şekilde sınıflandırılması için yeni bir GPU (GraphicProcessing Unit-Grafik İşlemci Birimi) teknolojisi kullanılmaktadır. Bunun için grafikişlemciler üzerinde programlama yapmamızı sağlayan CUDA programlamadan yararlanılmıştır.Sınıflandırma algoritması olarak genetik algoritmayla optimize edilmiş destek vektör makinesikullanılmıştır. Deneyler 384 CUDA çekirdeğinden oluşan NVIDIA GeForce 940MX ekrankartına sahip bir bilgisayar üzerinde gerçekleştirilmiştir. Büyük ölçekli veri kümeleri üzerindeyapılan deneylerde, CUDA programlamanın sonuçlar üzerinde pozitif etkilerinin olduğugörülmüştür. Bu şekilde makine öğrenmesi uygulamalarında sınıflandırma aşamasında grafikişlemciler ile gerçek zamanlı uygulamalar için hızlı bir sistemin altyapısı oluşturulabilir.

A GPU accelerated hybrid GA-SVM for large scale datasets: CuGA-SVM

In this study, CUDA based speed optimization of a hybrid method consisting of Genetic Algorithm and Support Vector Machines has been performed. In machine learning, it is aimed to achieve high accuracy values from the developed methods. It is also a target for the proposed algorithm to work quickly while finding the results. In this study, speed parameter which is indispensable especially in real time applications is taken into consideration and a new GPU technology is used to classify the data quickly. Therefore, CUDA programming, which allows us to program on graphics processors of which importance and use are increasing in recent years, has been benefited from. Support vector machine optimized by genetic algorithm has been used as the classification algorithm. The experiments have been performed on a computer with NVIDIA GeForce 940MX graphics card, which consists of 384 CUDA core. Experiments performed on large scale data sets have shown that CUDA programming has positive effects on the results. In this way, the infrastructure of a quick system for real-time applications can be created by using the graphics processors in the classification phase of the machine learning applications.

PDF

___

Lo, W. T., Chang, Y. S., Sheu, R. K., Chiu, C. C., & Yuan, S. M. (2014). CUDT: a CUDA based decision tree algorithm. The Scientific World Journal, 2014.
Sierra-Canto, Xavier, Madera-Ramirez, Francisco, V. Uc-Cetina, Parallel training of a backpropagation neural network using cuda, in: Proceedings of the 2010 Ninth International Conference on Machine Learning and Applications, ICMLA ’10, IEEE Computer Society, Washington, DC, USA, 2010, pp. 307–312. doi:10.1109/ICMLA.2010.52.
J. Bhimani, M. Leeser and N. Mi, "Accelerating K-Means clustering with parallel implementations and GPU computing," in High Performance Extreme Computing Conference (HPEC), 2015 IEEE, 2015, pp. 1-6.
J. Zhang, G. Wu, X. Hu, S. Li and S. Hao, "A parallel K-Means clustering algorithm with MPI," in Parallel Architectures, Algorithms and Programming (PAAP), 2011 Fourth International Symposium on, 2011, pp. 60-64.
B. Catanzaro, N. Sundaram, and K. Keutzer, Fast support vector machine training and classification on graphics processors," in Proceedings of the 25th international conference on Machine learning, ICML ’08, (New York, NY, USA), pp. 104{111, ACM, 2008.
L. J. Cao, S. S. Keerthi, C.-J. Ong, J. Q. Zhang, U. Periyathamby, X. J. Fu, and H. P. Lee, Parallel sequential minimal optimization for the training of support vector machines," Neural Networks, IEEE Transactions on, vol. 17, pp. 1039{1049, July 2006.
T. He, Z. Dong, K. Meng, H. Wang, Y. Oh, Accelerating multi-layer perceptron based short term demand forecasting using graphics processing units, in: Transmission & Distribution Conference & Exposition: Asia and Pacific, 2009, IEEE, 2009, pp. 1–4.
Wang, L., Zhu, X., Yang, B., Guo, J., Liu, S., Li, M., & Abraham, A. (2018). Accelerating nearest neighbor partitioning neural network classifier based on CUDA. Engineering Applications of Artificial Intelligence,68, 53-62.
Krawczyk, Bartosz. "GPU-accelerated extreme learning machines for imbalanced data streams with concept drift." Procedia Computer Science 80 (2016): 1692-1701.
Singh, Amreek, Kusum Deep, and Pallavi Grover. "A novel approach to accelerate calibration process of a k-nearest neighbours classifier using GPU." Journal of Parallel and Distributed Computing 104 (2017): 114-129.
Ayşe Arslan, Baha Şen, Musa Peker, Büyük Veri Kümeleri için GPU Tabanlı Paralel Destek Vektör Makinesi, International Conference on Computer Science and Engineering, Tekirdağ, Türkiye, 2016, pp. 519-523
Basturk, R. Akay, “Performance Analysis of the Coarse-Grained Parallel Model of the Artificial Bee Colony Algorithm”, Information Sciences, vol. 253, pp. 34-55, 2013.
Basturk, R. Akay, “Parallel Implementation of Synchronous Type Artificial Bee Colony Algorithm for Global Optimization”, Journal of Optimization Theory and Applications, vol. 155(3), pp. 1095- 1104, 2012.
S. Aslan, H. Badem, T. Ozcan, D. Karaboğa, A. Basturk, “Image Compression with Multi-GPU Accelerated Discrete Haar Wavelet Tramsform”, Kahramanmaras Sutcu Imam University Journal of Engineering Sciences, vol. 18, pp.12-16, 2015.
S. Aslan, H. Badem, T. Ozcan, A. Basturk, D. Karaboga, “CUDA ile Hızlandırılmış İki Boyutlu Ayrık Kosinüs Dönüşümü”, 4. Ulusal Yüksek Başarımlı Hesaplama Konferansı, Ankara, Türkiye, 2015.
S. Aslan, H. Badem, T. Ozcan, A. Basturk, “CUDA Platformunda İki Boyutlu Ayrık Haar Dalgacık Dönüşümü”, Akıllı Sistemlerde Yenilikler ve Uygulamaları Sempozyumu (ASYU-2014), pp. 219- 222, İzmir, Türkiye, 2014.
Ruiz-Gonzalez, R.; Gomez-Gil, J.; Gomez-Gil, F.J.; Martínez-Martínez, V. An SVM-Based Classifier for Estimating the State of Various Rotating Components in Agro-Industrial Machinery with a Vibration Signal Acquired from a Single Point on the Machine Chassis. Sensors 2014, 14, 20713-20735.
Liu M., Wu C., (2003), “Scheduling algorithm based on evolutionary computing in identical parallel machine production line”, Robotics and Computer Integrated Manufacturing, 19, 6-7.
Lessmann, S., Stahlbock, R., and Crone, S. F.: Optimizing hyperparameters of support vector machines by genetic algorithms, In IC-AI, 74–82, 2005
Pourbasheer, E., Riahi, S., Ganjali, M. R., and Norouzi, P.: Application of genetic algorithm support vector machine (GA-SVM) for prediction of BK-channels activity, Euro. J. Medicinal Chem., 44, 5023–5028, 2009.
NVIDIA CUDA, https://docs.nvidia.com/cuda/, Erişim Tarihi: 10.12.2017