Derin Sinir Ağları ile En İyi Modelin Belirlenmesi: Mantar Verileri Üzerine Keras Uygulaması

Bu çalışma, derin sinir ağlarında en iyi sınıflandırma modelini bulmak amacıyla gerçekleştirilmiştir. Bu amaçla, optimizasyon yöntemi (Sgd, Adagrad, Rmsprop, Adam ve Nadam), aktivasyon fonksiyonu (Tanh ve ReLU) ve nöron sayılarının kombinasyonları kullanılarak 20 farklı model oluşturulmuştur. Oluşturulan model kombinasyonlarının performansları karşılaştırılarak, sınıflandırma için en iyi model belirlenmiştir. Sonuçlara göre; modellerin performanslarının parametrelere bağlı olarak değişkenlik gösterdiği, en başarılı modelin gizli katmanında 64 nöron bulunduğu, aktivasyon fonksiyonunun ReLU olduğu ve optimizasyon yöntemi olarak da Rmsprop kullanıldığı belirlenmiştir (%92 doğruluk). Bununla beraber, en düşük başarı oranıyla sınıflandırma yapan modelin 32 nöronlu, ReLU aktivasyon fonksiyonlu ve Sgd optimizasyon yöntemli model olduğu belirlenmiştir (% 70 doğruluk). Ayrıca tüm sonuçlar göz önüne alındığında; Rmsprop, Adam ve Nadam optimizasyon yöntemlerinin diğer iki yönteme göre, ReLU aktivasyon fonksiyonunun ise Tanh’a göre daha başarılı olduğu belirlenmiştir. Sonuç olarak derin öğrenme çalışmalarında model oluşturulurken; optimizasyon algoritmalarının, aktivasyon fonksiyonlarının ve nöron sayılarının farklı seçeneklerine göre model performanslarını denemek mümkündür. Ayrıca oluşturulan modelde, optimizasyon yöntemlerinin farklı parametrelerinin kombinasyonlarıyla çalışıldığında, veri setine daha uygun mimari elde edilmektedir.

Anahtar Kelimeler:

Keras, Mantar, Optimizasyon yöntemi, Python

Determining the Best Model with Deep Neural Networks: Keras Application on Mushroom Data

This study was conducted to reveal the best classifying model with deep neural networks. For this purpose, 20 different candidate models of optimization method (Sgd, Adagrad, Rmsprop, Adam and Nadam), activation function (Tanh and ReLU) and combinations of neurons were studied. By comparing the performance of these candidate models, the best model for classification was determined. The present results indicated that the performance of the models varied according to the parameters, the most successful model has 64 neurons in the hidden layer, the activation function was ReLU and the Rmsprop was used as the optimization method (92% accuracy). In addition, it was determined that the model with the lowest success rate was the model with 32 neurons, ReLU activation function and Sgd optimization method (70% accuracy). Also considering all results; Rmsprop, Adam and Nadam optimization methods were found to be more successful than the other two methods and ReLU activation function produced more successful results than Tanh. As a result, while creating a model in deep learning studies; optimization algorithms, activation functions and number of neurons model performances can be tried according to different options. In addition, when the model is worked with combinations of different parameters of optimization methods, a more suitable architecture is obtained for the data set.

Keywords:

Keras Mushroom, Optimization algorithm, Python, Artificial neural networks,

PDF

___

Anonim, (2016). Optimization techniques comparison in Julia: SGD, Momentum, Adagrad, Adadelta, Adam. https://int8.io/comparison-of-optimization-techniques-stochastic-gradient-descent-momentum-adagrad-and-adadelta/. Erişim tarihi: 07.10.2018
Anonim, (2018a). Deep Neural Network. https://www.techopedia.com/definition/32902/deep-neural-network. Erişim tarihi: 20.09.2018
Anonim, (2018b). https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6. Erişim tarihi: 09.09.2018.
Çarkacı, N. (2018). Derin öğrenme uygulamalarında en sık kullanılan Hiper parameteler. https://medium.com/deep-learning-turkiye/derin-ogrenme-uygulamalarinda-en-sik-kullanilan-hiper-parametreler-ece8e9125c4. Erişim tarihi: 06.11.2018
Dua, D. and Karra Taniskidou, E. (2017). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.
Kızrak, M.A., Bolat, B., (2018). Derin öğrenme ile Kalabalık Analizi üzerine detaylı bir araştırma. Bilişim Teknolojileri Dergisi. 11(3): 263-286.
Koptur, M. (2017). Yapay sinir ağları ve derin öğrenme-1. https://makineogrenimi.wordpress.com/2017/07/15/yapay-sinir-aglari-ve-derin-ögrenme-1/. Erişim tarihi: 12.10.2018
Kurt, F. (2018). Evrişimli Sinir Ağlarında Hiper Parametrelerin Etkisinin İncelenmesi. Hacattepe Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı (Yüksek Lisans Tezi).
Kutlu, H. (2018). Biyoistatistik Temelli Bilimsel Araştırmalarda Derin Öğrenme Uygulamaları. Yakındoğu Üniversitesi, Sağlık Bilimleri Enstitüsü, Biyoistatistik. (Yüksek Lisans tezi).
Li, P. (2017). Optimization Algorithms for Deep Learning. Department of Systems Engineering and Engineering Management. The Chinese University of Hong KongMaksutov, R. (2018). Deep study of a not very deep neural network. Part 3b: Choosing an optimizer. https://medium.com/@maksutov.rn/deep-study-of-a-not-very-deep-neural-network-part-3b-choosing-an-optimizer-de8965aaf1ff. Erişim tarihi: 07.10.2018
Okut, H., (2018). Artificial Neural Network, Course Materials.
Okut, H., Gianola, D., Rosa, G.J.M., Weigel, K.A., (2011). Prediction of body mass index in mice using dense molecular markers and a regularized neural network. Genetics Research. 93(3): 189-201
Öztemel, E. (2012). Yapay sinir Ağları. Papatya yayıncılık.
Priddy, K.L., Keller, P.E., (2005). Artificial neural network: An Introduction. The International Society for Optical Engineering. ISBN 0-8194- 5987-9. Bellingham, Washington USA
Ramachandran, P., Zoph, B., Le, Q.V. (2017). Searching for activation Functions. ArXive-prints arXiv:1710.05941v2 [cs.NE] 27 Oct 2017
Ruder, S. (2016). "An overview of gradient descent optimization algorithms," ArXive-prints, vol. 1609. http://adsabs.harvard.edu/abs/2016arXiv160904747R
Sharma, A. (2017). Undersstanding Activation Functions in Neural Networks. https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0. Erişim tarihi: 13.10.2018
Şengöz, N. (2017). Yapay sinir ağları. http://www.derinogrenme.com/author/nilgunsengoz/. Erişim tarihi: 13.10.2018
Walia, A.S. (2017a). Types of optimization algoritms used in neural networks and ways to optimize gradient descent. https://towardsdatascience.com/types-of-optimization-algorithms-used-in-neural-networks-and-ways-to-optimize-gradient-95ae5d39529f. Erişim tarihi: 10.12.2018
Walia, A.S. (2017b). Activation functions and it’s types-Whic is better. https://towardsdatascience.com/activation-functions-and-its-types-which-is-better-9a5310cc8f. Erişim tarihi: 10.12.2018