Evrişimsel Sinir Ağlarında Kullanılan Transfer Öğrenme Yaklaşımlarının İncelenmesi

Evrişimsel sinir ağları (ESA), yapay sinir ağlarını tabanlı derin öğrenme mimarileridir. Katman ve sinir hücresi sayısının, yapay sinir ağına göre fazlalığından dolayı ESA eğitiminin hesaplama maliyeti yüksek bir işlemdir. Bunun yanında probleme özgü eğitim kümesi her zaman oluşturulamamaktadır. Sınıflama başarısı kanıtlanmış, büyük ve kapsamlı eğitim veri setiyle eğitilmiş bir ESA’ nın katmanlarından ağırlık transferi yaygın kullanılan yöntemdir. Ön eğitim, özellik çıkarıcı vekısmi özellik çıkarıcı yaklaşım ESA ‘larda kullanılan transfer öğrenme yaklaşımlarıdır. Bu çalışmada Cifar, Caltech, Mnist veri kümeleri için AlexNet’den transfer edilen ağırlıklarla ESA’lar için sınıflama başarıları incelenmiştir. AlexNet, yeni veri kümelerinin sınıflamasında kullanmak için önişlemlere tabi tutularak farklı veri kümeleri için yüksek sınıflama başarısı göstermiştir. Yeni veri kümesi sınıflarının, AlexNet’in eğitim kümesi ile benzerliği arttıkça sınıflama başarısının transfer öğrenmede arttığı gözlemlenmiştir. Bunun yanında kaynak ESA’nın eğitim veri kümesi, hedef veri kümesine olan benzerliği sınıflama doğruluğunu artırmaktadır. Transfer öğrenme ile ESA’nın farklı veri kümeleri için %80-%90 ortalama sınıflama başarısına ulaştığı da makalede sunulmaktadır.

Anahtar Kelimeler:

Derin öğrenme, Transfer öğrenme, , Evrişimsel sinir ağlarında transfer öğrenme

PDF

___

Ethem Alpaydın, Introduction to Machine Learning (Adaptive Computation and Machine Learning). MIT Press, 2004.C. M. Bishop, Pattern Recognition and Machine Learning. Springer Science + Business Media, LLC, 2006.C. Szegedy et al., “Going Deeper with Convolutions,” in Computer Vision and Pattern Recognition (CVPR), 2014.İnternet, “Yahoo Flickr.” [Online]. Available: https://www.flickr.com/photos/tags/yahoo/. [Accessed: 30-Dec-2018].E. Cengil, A. Çınar, Z. Güler “A GPU-Based Convolutional Neural Network Approach for Image Classification,” in Artificial Intelligence and Data Processing Symposium (IDAP), 2017.Şengör, Abdülkadir; Yaman, Akbulut; Yanhui, Guo; Varun, “Classification of amyotrophic lateral sclerosis disease based on convolutional neural network and reinforcement sample learning algorithm,” Heal. Inf. Sci. Syst., 2017.R. Girshick, J. Donahue, T. Darrell, J. Malik, and U. C. Berkeley, “Rich feature hierarchies for accurate object detection and semantic segmentation,” Comput. Vis. Pattern Recognition. IEEE, pp. 580–587, 2014.İnternet, “Image.net,” 2018. [Online]. Available: http://www.image-net.org. [Accessed: 20-Dec-2018].A. Krizhevsky and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Adv. Neural Inf. Process. Syst., vol. 1907–1105, pp. 1–9, 2012.S. J. Pan and Q. Yang, “A Survey on Transfer Learning,” IEEE Trans. Knowl. Data Eng., vol. 22, no. 10, 2010.Barış Koçer, “Transfer Öğrenmede Yeni Yaklaşımlar”, Selçuk Üniversitesi, Doktora Tezi, 2012.G. Konidaris and A. G. Barto, “Transfer in Reinforcement Learning via Shared Features,” J. ofMachine Learn. Res., vol. 13, pp. 1333–1371, 2012.J. Yosinski, J. Clune, Y. Bengio, and H. Lipson, “How transferable are features in deep neural networks ?,” Adv. Neural Inf. Process. Syst., vol. 27, 2014.Esra Mahsereci Karabulut, “Investıgatıon Of Deep Learnıng Approaches For Bıomedıcal Data Classıfıcatıon,” Çukurova Unıversıty, Doktora Tezi, 2016.Britz Denny, “Understanding Convolutional Neural Networks for NLP,” 2015. [Online]. Available: 20-Dec-2018 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/. [Accessed: 30-Dec-2017].M. E. Akçay, Samet; Kundegorski, M. Devereux, and T. P. Breckon, “Transfer Learnıng Usıng Convolutıonal Neural Networks For Object Classıfıcatıon Wıthın X-Ray Baggage Securıty Imagery,” in Image Processing (ICIP), 2016.Z. Huang, Z. Pan, and B. Lei, “Transfer Learning with Deep Convolutional Neural Network for SAR Target Classification with Limited Labeled Data,” pp. 1–21, 2017.T. D. Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, “Caffe: Convolutional architecture for fast feature embedding,” in ACMMM, 2014, pp. 675–678.Y. Bengio and P. Haffner, “Gradient-Based Learning Applied to Document Recognition,” vol. 86, no. 11, 1998.A. Krizhevsky, “Learning multiple layers of features from tiny images.,” University of Toronto, 2009.P. P. L. Fei-Fei, R. Fergus, “Learning generative visual models from few training examples: An incremental bayesian approach tested on 101 object categories,” Comput. Vis. Image Underst., no. 106(1), pp. 59–70, 2007.İnternet, “Transfer Learning.” [Online]. Available: http://cs231n.github.io/transfer-learning/#tf. [Accessed: 20-Dec-2018].