ÜRÜN GÖRSELLERİNİ KULLANARAK E-TİCARET SİSTEMLERİ İÇİN ÜRÜN BAŞLIĞI OLUŞTURULMASI

E-ticaret sistemlerindeki ürünlerde bilgilerinde zaman zaman insan kaynaklı hatalarla karşılaşılmaktadır. Ürün başlığının yanlış girilmesi yada fiyatın düşük girilmesi gibi problemler hem kullanıcıları hemde satıcıları olumsuz yönde etkilemektedir. Bu makalede insan kaynaklı yanlışlıkların önüne geçilmesi amacıyla e-ticaret sistemlerinde eklenen ürünlerinin başlıklarının otomatik oluşturulmasına yönelik bir yöntem sunulmuştur. Son zamanlarda özellikle kodlayıcı- kod çözücü mimarilerin başarılı sonuçlar vermesiyle araştırmacılar tarafından ilgi gören görüntü altyazılama sistemleri otonom arabalar ve görme engellilere yardım konuları dahil birçok alanda kullanılmaktadır. Çalışmada otomatik ürün başlığı oluşturulmasının yanı sıra sisteme eklenen özellikler ile ürün görsellerinin metinsel anlatım başarısının ne ölçüde etkileneceği konusu üzerine durulmuştur. Önerilen sistemin başlık oluşturma performansı BLEU, METEOR, ROUGE ve CIDEr gibi bu alanda kullanılan en yaygın değerlendirme ölçütleri kullanılarak değerlendirilmiştir. Bu sistemlerin e-ticaret sitelerindeki içerik iş yükünü azaltacağı düşünülmektedir.

Anahtar Kelimeler:

Görüntü altyazılama, bilgisayarla görü, doğal dil işleme, özyinelemeli sinir ağları, evrişimsel sinir ağları.

CREATING PRODUCT TITLES FOR E-COMMERCE SYSTEMS FROM IMAGES

In e-commerce systems, human-induced errors are often encountered in the product information. Users and sellers are negatively affected by problems such as incorrect entry of product title or low price. In this article, an automatic captioning system has been proposed about product titles in e-commerce systems in order to prevent human-induced mistakes. Recently, especially with the successful results of encoder-decoder architectures, image captioning systems are used in many areas such as autonomous cars and helping the visually impaired. In addition to the creation of product titles within the scope of the study, the issue of the extent to which the textual depiction success of the product images with the features added will be affected are emphasized. The performance of the proposed system was evaluated using the most common evaluation metrics such as BLEU, METEOR, ROUGE and CIDEr. It is thought that these systems can reduce the content workload on e-commerce sites.

Keywords:

Image captioning, computer vision, natural language processing, convolutional neural network, recurrent neural networks.,

PDF

___

1. Yılmaz H., Sükman S. Bilgisayarlı Tomografi Görüntülerinden Kemik Dokunun Modellenmesi ve Fdm Yöntemiyle Baskısı, International Journal of 3D Printing Technologies and Digital Industry, Sayfa 227-235, 2019.
2. Turgut A., Temir A., Aksoy B., Özsoy K. Yapay Zekâ Yöntemleri ile Hava Sıcaklığı Tahmini için Sistem Tasarımı ve Uygulaması, International Journal of 3D Printing Technologies and Digital Industry, Sayfa 244-253, 2019.
3. Gurari, D., Li, Q., Stangl, A. J., Guo, A., Lin, C., Grauman, K., Luo, J., ve Bigham, J. P., “VizWiz Grand Challenge: Answering Visual Questions from Blind People”, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Pages 3608-3517, 2018.
4. Ling, H. ve Fidler, S., “Teaching Machines to Describe Images via Natural Language Feedback”, NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, Pages 5075-5085, 2017.
5. Karpathy, A., Joulin, A., ve Li, F.-F., “Deep Fragment Embeddings for Bidirectional Image Sentence Mapping”, NIPS'14: Proceedings of the 27th International Conference on Neural Information Processing Systems, Vol. 2, Pages 1889–1897, 2014.
6. You, Q., Jin, H., Wang, Z., Fang, C., ve Luo, J., “Image Captioning with Semantic Attention, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Pages: 4651-4659, 2016.
7. Xu, K., Ba, J. L., Kiros, R., Cho, K., Courville, A., Salakhutdinov, R., Zemel, R. S., ve Bengio, Y., “Show, attend and tell: Neural image caption generation with visual attention”, 32nd International Conference on Machine Learning, ICML 2015, c. 3, Pages. 2048-2057, 2015.
8. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., ve Polosukhin, I., “Attention is all you need”, Advances in Neural Information Processing Systems, Pages 5999-6009, 2017.
9. Farhadi, A., Hejrati, M., Sadeghi, M. A., Young, P., Rashtchian, C., Hockenmaier, J., ve Forsyth, D., “Every picture tells a story: Generating sentences from images”, European conference on computer vision, Pages 15-29, 2010.
10. Feng, Y. ve Lapata, M., “Automatic Caption Generation for News Images”, IEEE Trans. Pattern Anal. Mach. Intell., Vol. 35, Pages 797-812, 2012.
11. Vinyals, O., Toshev, A., Bengio, S., ve Erhan, D., “Show and Tell: {A} Neural Image Caption Generator”, IEEE Conference on Computer Vision and Pattern Recognition, Pages 3156-3164, 2014.
12. Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., ve Wojna, Z., “Rethinking the Inception Architecture for Computer Vision”, Computer Vision and Pattern Recognition, 2015.
13. Sonmez, E. B., Yıldız, T., Yılmaz, B. D., ve Demir, A. E., “Türkçe dilinde görüntü altyazısı: veritabanı ve model”, Gazi Üniversitesi Mühendis. Mimar. Fakültesi Dergisi, Cilt 35, Sayı 4, Sayfa 2089-2100, 2019.
14. Anderson, P., He, X., Buehler, C., Teney, D., Johnson, M., Gould, S., ve Zhang, L., “Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering”, Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., Pages. 6077-6086, 2017.
15. Herdade, S., Kappeler, A., Boakye, K., ve Soares, J., “Image Captioning: Transforming Objects into Words”, arXiv, 2019.
16. Yang, X., Zhang, H., Jin, D., Liu, Y., Wu, C.-H., Tan, J., Xie, D., Wang, J., ve Wang, X., “Fashion Captioning: Towards Generating Accurate Descriptions with Semantic Rewards”, Lect. Notes Comput. Sci. Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinforma., c. 12358 LNCS, Pages. 1-17, 2020.
17. Li, X., Ye, Z., Zhang, Z., ve Zhao, M., “Clothes image caption generation with attribute detection and visual attention model”, Pattern Recognit. Lett., Vol. 141, Pages 68-74, 2021.
18. Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., ve Fei-Fei, L., “ImageNet: A Large-Scale Hierarchical Image Database” 2009 IEEE Conference on Computer Vision and Pattern Recognition, Pages 248-255, 2009.
19. He, K., Zhang, X., Ren, S., ve Sun, J., “Deep Residual Learning for Image Recognition”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Pages 770-778, 2015.
20. Simonyan, K. ve Zisserman, A., “Very Deep Convolutional Networks for Large-Scale Image Recognition”, CoRR, The 3rd International Conference on Learning Representations (ICLR2015), 2014.
21. Bahdanau, D., Cho, K., ve Bengio, Y., “Neural Machine Translation by Jointly Learning to Align and Translate”, International Conference on Learning, 2016.
22. Pennington, J., Socher, R., ve Manning, C. D., “Glove: Global Vectors For Word Representation”, Proceedings Of The 2014 Conference on Empirical Methods İn Natural Language Processing(EMNLP), Pages 1532-1543, 2014.
23. Papineni, K., Roukos, S., Ward, T., ve Zhu, W.-J., “BLEU: A Method For Automatic Evaluation Of Machine Translation”, ACL '02: Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, Pages. 311-318, 2001.
24. Vedantam, R., Zitnick, C. L., ve Parikh, D., “CIDEr: Consensus-based Image Description Evaluation”, Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., Pages 4566-4575, 2015.
25. Banerjee, S. ve Lavie, A., “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments”, Proceedings of the Second Workshop on Statistical Machine Translation, Pages 228–231, 2005.
26. Lin, C.-Y., “ROUGE: A Package for Automatic Evaluation of Summaries”, Proceedings of the ACL Workshop: Text Summarization Braches Out, 2004