Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması

Sinirsel stil aktarımı günümüzde hem akademik hemde endüstriyel alanda en fazla çalışılan konulardan biridir. Yapılan çalışmalarda kalite ve performans artırımı en çok amaçlanan hedeflerdendir. Bu çalışmada da farklı ESA modellerinin sinirsel stil aktarımında performansları incelenmiştir. VGG16, VGG19 ve ResNet50 modelleri kullanarak derin öznitelikler elde edilmiştir. Bu öznitelikler sayesinde içerik görüntüsünün içeriğini, stil görüntüsünün de stilini alıp yeni bir hedef görüntü oluşturulmuştur. Adam, RMSprop ve SGD optimizasyon algoritmaları kullanılmıştır. Yapılan sinirsel sinir aktarımı çalışmalarında, görsel açıdan en iyi performans VGG19 ağ modelinden SGD optimizasyon algoritması kullanılarak elde edilmiştir. Zaman açısından en hızlı sinirsel stil aktarımı ResNet50 evrişimsel sinir ağı modelinde SGD optimizasyon algoritması kullanılarak elde edilmiştir.

Comparison of Neural Style Transfer Performance of Deep Learning Models

Neural style transfer is one of the most studied topics in both academic and industrial fields. Quality and performance enhancement are among the most targeted goals in the studies. In this study, the performance of different CNN models in neural style transfer was investigated. Deep features were obtained using VGG16, VGG19 and ResNet50 models. Thanks to these attributes, a new target image is created by taking the content of the content image and the style of the style image. Adam, RMSprop and SGD optimization algorithms are used. In neural transfer studies, the best visual performance was obtained from VGG19 network model by using SGD optimization algorithm. The fastest neural style transfer in terms of time was obtained using the SGD optimization algorithm in the ResNet50 convolutional neural network model.

___

[1] Jing Y., Yang Y., Feng Z., Ye J., ve Song M., “Neural style transfer: A review”, IEEE Transactions on Visualization and Computer Graphics, 26: 3365–3385, (2020).

[2] Gatys L. A., Ecker A. S., Bethge M., Hertzmann A., ve Shechtman E., “Controlling perceptual factors in neural style transfer”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jul, (2017).

[3] Gatys L. A., Ecker A. S. ve Bethge M., “A neural algorithm of artistic style”, Journal of Vision, 16: 326, (2016).

[4] Krizhevsky A., Sutskever I. ve Hinton G. E., “Imagenet classification with deep convolutional neural networks”, In Advances in neural information processing systems, 1097–1105, (2012).

[5] Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E., ve Darrell, T., “DeCAF: A Deep Convolu- tional Activation Feature for Generic Visual Recognition”, 31st International Conference on Machine Learning (ICML), (2014).

[6] Cimpoi M., Maji S., ve Vedaldi A., “Deep filter banks for texture recognition and segmentation”, International Journal of Computer Vision, 118: 65–94, (2016).

[7] Karayev S., Trentacoste M., Han H., Agarwala A., Darrell T., Hertzmann A., ve Winnemoeller H., “Recognizing image style”, Proceedings of the British Machine Vision Conference, (2014).

[8] Kümmerer, M., Theis, L. ve Bethge M., “Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet”, In ICLR, (2015).

[9] Chen L. C., Papandreou G., Kokkinos I., Murphy K., ve Yuille A. L., “Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs”, In ICLR, (2015).

[10] Berning, M., Boergens, K. M. and Helmstaedter, M., “SegEM: Efficient Image Analysis for High-Resolution Connectomics”, Neuron, 87: 1193–1206 (2015).

[11] Eigen D. ve Fergus R., “Predicting Depth, Surface Normals and Semantic Labels With a Common Multi-Scale Convolutional Architecture”, IEEE International Conference on Computer Vision (ICCV), (2015).

[12] Long J., Shelhamer E. ve Darrell T., “Fully convolutional networks for semantic segmentation”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, (2015).

[13] Ari A. ve Hanbay D., “Deep learning based brain tumor classification and detection system”, Turkish J. Elect. Eng. Comput. Sci., 26: 2275–2286, (2018).

[14] Türkoğlu, M., Hanbay, K., Saraç Sivrikaya, I. ve Hanbay, D., “Derin Evrişimsel Sinir Ağı Kullanılarak Kayısı Hastalıklarının Sınıflandırılması”, Bitlis Eren Üniversitesi Fen Bilimleri Dergisi, 9: 334-345, (2020).

[15] Akılotu B. N., Kadiroğlu Z., Şengür A. and Kayaoğlu M., “Malaria Detection using both Convolutional Neural Networks and Transfer Learning Method”, IESS, (2019).

[16] Kızrak, M.A., “DERİNE DAHA DERİNE: Evrişimli Sinir Ağları”, https://ayyucekizrak.medium.com/deri̇ne-daha-deri̇ne-evrişimli-sinir-ağları-2813a2c8b2a9, (2018), Erişim Tarihi: 10.02.2021

[17] Doğan F. and Türkoğlu İ., “Comparison of Leaf Classification Performance of Deep Learning Algorithms”, Sakarya University Journal of Computer and Information Sciences, 1: 10-21, (2018).

[18] Simonyan K. ve Zisserman A.,”Very Deep Convolutional Networks For Large-scale Image Recognition”, ICLR, (2015).

[19] Ruder S., “An overview of gradient descent optimization algorithms”, CoRR, (2016).

[20] Akca, M.F., “Gradient Descent Nedir?”, https://medium.com/deep-learning-turkiye/gradient-descent-nedir-3ec6afcb9900, (2020), Erişim Tarihi: 10.02.2021

[21] Yazan E., ve Talu M.F., “Comparison of the stochastic gradient descent based optimization techniques”, Artificial Intelligence and Data Processing Symposium (IDAP), (2017).

[22] Zeiler M. D., “ADADELTA: an adaptive learning rate method”, arXiv preprint arXiv:1212.5701, (2012).

[23] Karim R., “10 Stochastic Gradient Descent Optimisation Algorithms + Cheat Sheet”, https://towardsdatascience.com/10-gradient-descent-optimisation-algorithms-86989510b5e9,(2018), Erişim Tarihi: 10.02.2021

[24] Alpaydın, E., “Yapay Öğrenme”. Boğaziçi Üniversitesi Yayınevi, İstanbul, (2018).

[25] Seyyarer E., Ayata F., Uçkan T. and Karcı A., “Derin öğrenmede kullanılan optimizasyon algoritmalarının uygulanması ve kıyaslanması”, Anatolian Journal of Computer Sciences, 5: 90-98 (2020).

[26] İçerik Görüntüsü https://images.wallpaperscraft.com/image/road_marking_evening_clouds_horizon_120298_1280x1024.jpg, (2020), Erişim Tarihi: 10.02.2021

[27] Vinci L., “Mona Lisa” https://www.sanatabasla.com/wp-content/uploads/2017/06/098-Mona-Lisa-Leonardo-da-Vinci.jpg, Italy, (1503), Erişim Tarihi: 10.02.2021

[28] Picasso P., “The Weeping Woman” https://i.pinimg.com/originals/b5/cd/cb/b5cdcb278146767d41a64d12cdc68fda.jpg, (1937), Erişim Tarihi: 10.02.2021

[29] Gogh V. V., “Cypresses” https://upload.wikimedia.org/wikipedia/commons/thumb/1/11/Vincent_Van_Gogh_0016.jpg/1920px-Vincent_Van_Gogh_0016.jpg , (1889) , Erişim Tarihi: 10.02.2021

[30] Munch E., “Skrik”, https://upload.wikimedia.org/wikipedia/commons/f/f4/The_Scream.jpg , (1893), Erişim Tarihi: 10.02.2021

___

Bibtex @araştırma makalesi { politeknik885838, journal = {Politeknik Dergisi}, eissn = {2147-9429}, address = {Gazi Üniversitesi Teknoloji Fakültesi 06500 Teknikokullar - ANKARA}, publisher = {Gazi Üniversitesi}, year = {2021}, volume = {24}, number = {4}, pages = {1611 - 1622}, doi = {10.2339/politeknik.885838}, title = {Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması}, key = {cite}, author = {Karadağ, Batuhan and Arı, Ali and Karadağ, Müge} }
APA Karadağ, B. , Arı, A. & Karadağ, M. (2021). Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması . Politeknik Dergisi , 24 (4) , 1611-1622 . DOI: 10.2339/politeknik.885838
MLA Karadağ, B. , Arı, A. , Karadağ, M. "Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması" . Politeknik Dergisi 24 (2021 ): 1611-1622 <
Chicago Karadağ, B. , Arı, A. , Karadağ, M. "Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması". Politeknik Dergisi 24 (2021 ): 1611-1622
RIS TY - JOUR T1 - Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması AU - Batuhan Karadağ , Ali Arı , Müge Karadağ Y1 - 2021 PY - 2021 N1 - doi: 10.2339/politeknik.885838 DO - 10.2339/politeknik.885838 T2 - Politeknik Dergisi JF - Journal JO - JOR SP - 1611 EP - 1622 VL - 24 IS - 4 SN - -2147-9429 M3 - doi: 10.2339/politeknik.885838 UR - Y2 - 2021 ER -
EndNote %0 Politeknik Dergisi Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması %A Batuhan Karadağ , Ali Arı , Müge Karadağ %T Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması %D 2021 %J Politeknik Dergisi %P -2147-9429 %V 24 %N 4 %R doi: 10.2339/politeknik.885838 %U 10.2339/politeknik.885838
ISNAD Karadağ, Batuhan , Arı, Ali , Karadağ, Müge . "Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması". Politeknik Dergisi 24 / 4 (Aralık 2021): 1611-1622 .
AMA Karadağ B. , Arı A. , Karadağ M. Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması. Politeknik Dergisi. 2021; 24(4): 1611-1622.
Vancouver Karadağ B. , Arı A. , Karadağ M. Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması. Politeknik Dergisi. 2021; 24(4): 1611-1622.
IEEE B. Karadağ , A. Arı ve M. Karadağ , "Derin Öğrenme Modellerinin Sinirsel Stil Aktarımı Performanslarının Karşılaştırılması", Politeknik Dergisi, c. 24, sayı. 4, ss. 1611-1622, Ara. 2021, doi:10.2339/politeknik.885838