Kısıtlanmış Boltzmann Makinesi Ve Farklı Sınıflandırıcılarla Oluşturulan Sınıflandırma İş Hatlarının Başarımının Değerlendirilmesi

Literatürdeki birçok sınıflandırıcı yöntemi en yüksek sınıflandırma doğruluğuna ulaşılması için kullanılmaktadır. Kısıtlanmış Boltzmann makinesi danışmansız öğrenmenin yapıldığı bir yapay sinir ağı olmasının yanı sıra, öznitelik elde etmekte kullanılan öğrenen bir bileşen olarak önem kazanmıştır. Çalışmamızda Bernoulli tipli kısıtlanmış Boltzmann makinesi ve farklı sınıflandırıcılar kullanılarak oluşturulan beş farklı iş hattının başarımları kıyaslanmaktadır. Bu iş hatlarında sırasıyla lojistik regresyon, karar ağacı, Gauss saf Bayes, Ada Boost ve rasgele orman sınıflandırıcı kullanılmıştır. Sınıflandırma sonucu değişiklikleri, bu sınıflandırıcıların elde ettiği tek başına sınıflandırma sonuçlarına kıyasla iş hatları kullanılarak gözlemlenmiştir. Deneysel sonuçlar, MNIST el yazısı rakam tanıma veri kümesi kullanılarak elde edilmiştir. Bu deneylerde kısıtlanmış Boltzmann makinesinin üstün parametrelerinin iki farklı düzeni kullanılmıştır. Bu sonuçlara göre, tek başına sınıflandırıcının sınıflandırma doğruluğunun deneylerdeki iş hatları kullanımı sayesinde daha iyi hale geldiği görülmüştür. En yüksek başarım %97,19'luk bir sınıflandırma başarı oranıyla elde edilmiştir. Önerilen iş hattı tasarımını kullanan modeller ilgili bireysel sınıflandırıcı ortalama başarımlarını en az %1 ilâ en çok %33 arasında iyileştirmiştir. Makalede tartışmaya da yer verilmektedir.

Performance Evaluation of Classification Pipelines Builded with Restricted Boltzmann Machine and Several Classifiers

Many classification methods in the literature are used to achieve the highest classification accuracy. The restricted Boltzmann machine is an artificial neural network with unsupervised learning, however it is gained importance as a learning component to extract attributes. In our study, we compared the performances of five different pipelines builded with the Bernoulli-type restricted Boltzmann machine and different classifiers. Experiments have been carried out on these pipelines by using logistic regression, decision tree, Gaussian naive Bayes, Ada Boost, and random forest classifier, respectively. The classification resultant changes were observed through the use of pipelines compared to the stand alone classification results obtained by these classifiers. Experimental results were obtained with the use of MNIST handwriting digit recognition data set. In these experiments, two different orders of hyper parameters of the restricted Boltzmann machine were used. According to these results, it was seen that the classification accuracy of the stand alone classifier became better through the use of pipelines in the experiments. The highest performance was achieved with a classification success rate of 97.19%. Models using the proposed pipeline design have improved the average performance of related invidividual classifiers from at least 1% to at most 33%. Discussions are also included.

Keywords:

restricted Boltzmann machine, classification, machine learning, handwriting digit recognition,

PDF

___

D. Ravi, C. Wong, B. Loi, G. Z. Yang, "Deep learning for human activity recognition: A resource efficient implementation on low- power devices", IEEE 13th International Conference on Wearable and Implantable Body Sensor Networks (BSN) 2016, San Francisco, CA, A.B.D., 71-76, 14-17 Haziran 2016. doi: 10.1109/BSN.2016.7516235.
A. Geoffrey, E. Hinton, S. Osindero, Y-W. Teh, "A Fast Learning Algorithm for Deep Belief Nets", Neural Computation, 18(7), 1527-1554, 2006. doi: 10.1162/neco.2006.18.7.1527.
N. S. Karakoç, Ş. Karahan, Y. S. Akgül, "Deep learning based estimation of the eye pupil center by using image patch classification", 25th Signal Processing and Communications Applications Conference (SIU) 2017, Antalya, Türkiye, 1-4, 15- 18 Mayıs 2017. doi: 10.1109/SIU.2017.7960457
M. Zeng, L. T. Nguyen, B. Yu, O. J. Mengshoel, J. Zhu, P. Wu, J. Zhang, "Convolutional Neural Networks for human activity recognition using mobile sensors", 6th International Conference on Mobile Computing, Applications and Services 2014, Austin, TX, A.B.D., 197-205, 6-7 Kasım 2014. doi: 10.4108/icst.mobicase.2014.257786.
T. Tieleman, "Training Restricted Boltzmann Machines Using Approximations to the Likelihood Gradient", Proceedings of the 25th international conference on Machine learning (ICML08) 2008, Helsinki, Finlandiya, 1064-1071, 05-09 Temmuz 2008. doi:10.1145/1390156.1390290.
Y. Bengio, A. Courville, P. Vincent, "Representation Learning: A Review and New Perspectives", IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1798-1828, 2013. doi: 10.1109/TPAMI.2013.50.
Y. Bengio, "Learning Deep Architectures for AI", Foundations and Trends in Machine Learning, 2(1), 1-127, 2009. doi: 10.1561/2200000006.
E. Alpaydın, Yapay Öğrenme, Boğaziçi Üniversitesi Yayınevi, 496 sayfa, İstanbul, Türkiye, 2011. ISBN: 978-605-4238-49-1.
A. Onan, S. Korukoğlu, "Ensemble methods for opinion mining", 23nd Signal Processing and Communications Applications Conference (SIU) 2015, Malatya, Türkiye, 212-215, 16-19 Mayıs 2015. doi: 10.1109/SIU.2015.7129796.
Ö. Çokluk, "Lojistik regresyon analizi: kavram ve uygulama", Educational Sciences: Theory & Practice, 10(2), 1357–1407, 2010. ISSN: 1303-0485.
Y. Atakurt, "Lojistik Regresyon Analizi Ve Tıp Alanında Kullanımına İlişkin Bir Uygulama", Ankara Üniversitesi Tıp Fakültesi Mecmuası, 52(04), 191-199, 1999. ISSN: 0365-8104.
C. D. Manning, P. Raghavan, H. Schütze, Introduction to Information Retrieval, Draft Online Edition Copy (2009.04.01), Cambridge University Press, New York, NY, A.B.D, 2009. Internet: http://nlp.stanford.edu/IR- book/pdf/irbookprint.pdf.(22.12.2017)
Y. Lecun, L. Bottou, Y. Bengio, P. Haffner, "Gradient-based learning applied to document recognition", Proceedings of the IEEE 1998, 86(11), 2278-2324, Kasım 1998. doi: 10.1109/5.726791. Internet: http://yann.lecun.com/exdb/mnist/.(22.12.2017)
F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, E. Duchesnay, "Scikit-learn: Machine learning in Python", Journal of Machine Learning Research (JMLR), 12, 2825–2830, Ekim 2011. arXiv:1201.0490.F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, E. Duchesnay, "Scikit-learn: Machine learning in Python", Journal of Machine Learning Research (JMLR), 12, 2825–2830, Ekim 2011. arXiv:1201.0490.
L. Buitinck, G. Louppe, M. Blondel, F. Pedregosa, A. Mueller, O. Grisel, V. Niculae, P. Prettenhofer, A. Gramfort, J. Grobler, R. Layton, J. Vanderplas, A. Joly, B. Holt, G. Varoquaux, "API design for machine learning software: experiences from the scikit-learn project", European Conference on Machine Learning and Principles and Practices of Knowledge Discovery in Databases (ECML PKDD) Workshop (2013): Languages for Data Mining and Machine Learning, 108-122 arXiv:1309.0238. Internet: http://scikit-learn.org/.