LSTM Ağları ile Türkçe Kök Bulma

Türkçe, morfem adı verilen birimlerin art arda eklenmesiyle sözcüklerin oluşturulduğu sondan eklemeli bir dildir. Sözcüklerin farklı parçaların birleştirilmesiyle oluşturulması makine tercümesi, duygu analizi ve bilgi çıkarımı gibi birçok doğal dil işleme uygulamasında seyreklik problemine yol açmaktadır çünkü sözcüğün her farklı formu farklı bir sözcük gibi algılanmaktadır. Bu makalede, sözcüklerin yapım ve çekim eklerinden arındırılarak köklerinin otomatik olarak bulunabilmesi için bir yöntem öneriyoruz. Kullandığımız yöntem tekrarlayan sinir ağları kullanarak oluşturulan kodlayıcı-kod çözücü yaklaşımına dayanmaktadır. Verilen herhangi bir sözcük, oluşturduğumuz sinir ağı yapısı ile öncelikle kodlanmakta, ardından kodu çözülerek köküne ulaşılabilmektedir. Bu yöntem şimdiye kadar etiketleme veya makine tercümesi gibi problemlerde kullanılmıştır. Diğer Türkçe kök bulma modelleriyle karşılaştırıldığında sonuçların oldukça iyi olduğu gözlenmiştir. Diğer modellerde olduğu gibi, herhangi bir kural kümesi elle tanımlanmadan, sadece sözcük ve kök ikililerinden oluşan bir eğitim veri kümesi kullanılarak kök bulma işlemi önerdiğimiz bu model ile gerçekleştirilebilmektedir.

Stemming Turkish Words with LSTM Networks

Turkish is an agglutinative language that builds words by concatenating the units called morphemes. Building words by concatenating various units together leads to sparsity problem in many natural language processing tasks such as machine translation, sentiment analysis, and information extraction because each different form of the same word is considered as a different word token. In this paper, we propose a method that can find the stems of words automatically by filtering out any derivational or inflectional suffixes attached to words. The proposed method is based on an encoder-decoder model built by recurrent neural networks. Any given word is first encoded by the neural network and then its stem is extracted by decoding it. This method has been used in problems such as tagging or machine translation so far. We obtain compatitive results compared to other Turkish stemmers. Moreover, unlike the other models, stemming could be performed without defining a rule set manually, and by just using a train set that involves word and stem pairs.

Keywords:

natural language processing, computational linguistics, unsupervised learning, morphology, morphological segmentation, deep learning recurrent neural networks,

PDF

___

[1] I. Sutskever, O. Vinyals, Q. V. Le, “Sequence to Sequence Learning with Neural Networks”, NIPS'14 Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, 2014.
[2] M.-T. Luong, H. Pham, C. D. Manning, “Effective Approaches to Attention-based Neural Machine Translation”, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, 2015.
[3] K. Cho, B. v. Merriënboer, D. Bahdanau, “On the Properties of Neural Machine Translation: Encoder-Decoder Approaches”, Proceedings of SST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, Doha, 2014.
[4] J. B. Lovins, “Development of a Stemming Algorithm”, Defense Technical Information Center, 31, 1968.
[5] M. F. Porter, “An Algorithm for Suffix Stripping”, Readings in Information Retrieval, 313--316, 1997.
[6] R. Krovetz, “Viewing Morphology as an Inference Process”, Proceedings of the 16th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 1993.
[7] Internet: M. F. Porter, Snowball, http://www.snowball.tartarus.org/texts/introduction.html, 2001.
[8] E. K. Çilden, Stemming Turkish Words Using Snowball, 2006.
[9] G. Eryiğit, E. Adalı, “An Affix Stripping Morphological Analyzer for Turkish”, Proceedings of the IASTED International Conference Artificial Intelligence and Applications, Innsbruck, 2004.
[10] Internet: O. Tunçelli, Github, https://github.com/otuncelli/turkish-stemmer-python, 09.11.2018.
[11] Internet: H. R. Zafer, Github, https://github.com/hrzafer/reshaturkish-stemmer, Kasım 2018.
[12] Internet: H. R. Zafer, Github, https://github.com/hrzafer/nuve, 09.11.2018.
[13] K. Koskenniemi, P. Tapanainen, A. Voutilainen, “Compiling and Using Finite-State Syntactic Rules”, Proceedings of the COLING-92, the 14th International Conference on Computational Linguistics, Nantes.
[14] K. Oflazer, “Two-level Description of Turkish Morphology”, In Proceedings of the Sixth Conference of the European Chapter of the Association for Computational Linguistics, 1994.
[15] Ç. C. Çöltekin, “A Freely Available Morphological Analyzer for Turkish”, Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC 2010), 2010.
[16] A. A. Akın, M. D. Akın, “Zemberek, An Open Source NLP Framework for Turkic Languages”, Structure, 10, 1--5, 2007.
[17] S. Hochreiter, “The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions”, International Journal of Uncertainty, Fuzziness, KnowledgeBased Systems, 6(2), 107-116, 1998.
[18] G. Neubig, C. Dyer, Y. Goldberg, A. Matthews, W. Ammar, A. Anastasopoulos, M. Ballesteros, D. Chiang, D. Clothiaux, T. Cohn, K. Duh, M. Faruqui, C. Gan, “DyNet: The Dynamic Neural Network Toolkit”, ArXiv, 2017.
[19] N. B. Atalay, K. Oflazer, B. Say, “The Annotation Process in the Turkish Treebank”, Proceedings of the EACL Workshop on Linguistically Interpreted Corpora - LINC, Budapeşte, 2003.
[20] K. Oflazer, D. Say, D. Z. Hakkani-Tür, G. Tür, “Building a Turkish Treebank”, Building and Exploiting Syntacticallyannotated Corpora, Kluwer Academic Publishers, 2003.
[21] Internet: M. Kurimo, K. Lagus, S. Virpioja, V. Turunen, Morpho Challenge 2010, Aalto University, http://morpho.aalto.fi/events/morphochallenge2010/, November 2018].