Kelime Temsil Yöntemleri ile Kelime Benzerliklerinin İncelenmesi
Günümüzde büyük veri alanında meydana gelen gelişmelerle birlikte günlük işlenebilir durumda olan verimiktarı oldukça büyük boyutlara ulaşmıştır. Bu verilerin çok büyük bir kısmının metin (text) verilerindenoluşması, metin işleme alanında yapılan çalışmaları oldukça önemli ve popüler bir hale getirmiştir. Ancakbu alanda yapılan çalışmalar incelendiğinde başta İngilizce olmak üzere birçok dünya diline yönelikçeşitli çalışmalar yapılırken, Türkçeye özgü yapılan çalışmaların istenilen sayıda olmadığı görülmüştür.Bu nedenle bu çalışma için, python ortamı kütüphanelerinden biri olan Beautiful Soup kütüphanesikullanılarak Türkçe metinlerden oluşan büyük bir derlem oluşturulmuştur. Bu çalışmada, kelimelerivektör uzayında her bir kelimenin bir vektörle temsil edildiği yeni bir yaklaşım olan Word2Vec modelialgoritmalarından CBOW ve Skip-Gram algoritmaları ile Glove modeli kullanılmıştır. Oluşturulan derlemüzerinde Word2Vec yöntemi ile Türkçe kelimelerden oluşan ve bu kelimeler arasındaki anlamsal ilişkileritespit etmeye çalışan bir model geliştirilmiş ve diğer modeller ile başarımı ve eğitim sürelerikıyaslanmıştır. Ayrıca çalışmanın bir diğer katkısı ise modelin performansını artırmak için Türkçe içinetkisiz kelimeler listesi oluşturulmasıdır. Geliştirilen bu model ile özellikle Türkçe metin sınıflandırmaproblemlerinde daha yüksek bir sınıflandırma başarımının yakalanması hedeflenmektedir. Bu çalışmakapsamında oluşturulan model analiz edilip yakın anlamlı kelimeler incelendiğinde oldukça başarılıperformans gösterdiği tespit edilmiştir. Veriseti ve kelime vektörleri Türkçe çalışmalara katkı sağlamakiçin erişime açık olarak paylaşılacaktır.
Investigation of Word Similarities with Word Embedding Methods
Nowadays, the amount of data that can be processed daily has reached quite big dimensions with the developments in the big data. The fact that a large part of this data consists of text data has made the studies in the field of text processing very important and popular. However, when the studies in this area are examined, it has been observed that while various studies are carried out for many World languages, especially English, there are no desired number of studies conducted in Turkish. Therefore, a large corpus of Turkish texts was created using the Beautiful Soup library, one of the python environment libraries. In this study, CBOW and Skip-Gram algorithms from Word2Vec model algorithms and Glove model were used where each word is represented with a vector in the vector space. In this study, a model which consists of Word2Vec method and Turkish words and tries to detect the semantic relations between these words has been developed and the performance and training times have been compared with other models. In addition, another contribution of this study to improve the performance of the model to create a list of stop words for Turkish. With this model, it is aimed to achieve a higher classification performance especially for Turkish text classification problems. After analyzing the model formed within the scope of this study, it was detected that it showed a very successful performance when close words were examined. The dataset and word vectors will be shared with the public to provide contributions to Turkish studies.
___
- Kaytan, M., Hanbay, D., 2017. Effective
Classification of Phishing Web Pages Based on
New Rules by Using Extreme Learning
Machines.
Anatolian
Science-Bilgisayar
Bilimleri Dergisi, 2(1), 15-36.
- Adalı, E., 2012. Doğal Dil İşleme. Türkiye
Bilişim Vakfı Bilgisayar Bilimleri ve
Mühendisliği Dergisi, 5, 2.
- Amasyalı, M.F., Çetin, M., Akbulut, C., 2013.
Metinlerin
Anlamsal
Uzaydaki Temsil
Yöntemlerinin Sınıflandırma Performansına
Etkileri, Sigma, 5, 8-14.
- Polat, H., Körpe, M. 2018. TBMM Genel
Kurul
Tutanaklarından
Yakın
Anlamlı
Kavramların Çıkarılması. International Journal
of Informatics Technologies, 11, 3.
- Sen, M.U., Erdogan, H., 2014. Learning Word
Representations for Turkish. In Signal
Processing and Communications Applications
Conference (SIU), 22 nd 1742-1745. IEEE.
- Gözükara, F., Özel, S.A., 2016. Türkçe ve
İngilizce Yorumların Duygu Analizinde
Doküman Vektörü Hesaplama Yöntemleri için
Bir Deneysel İnceleme. Çukurova Üniversitesi Mühendislik-Mimarlık
Fakültesi
Dergisi,
31(2), 464-482.
- Güngör, O., Yıldız, E., 2017. Linguistic
Features in Turkish Word Representations. In
Signal Processing and Communications
Applications Conference (SIU), 25 th 1-4. IEEE.
- Şahin, G., 2017. Turkish Document
Classification Based on Word2Vec and SVM
Classifier. In Signal Processing and
Communications Applications Conference
(SIU), 25 th, 1-4. IEEE.
- Mikolov, T., Chen, K., Corrado, G., Dean, J.,
2013.
Efficientestimation
of
Word
Representations
in
Vectorspace,
arXiv:1301.3781.
- Le, Q., Mikolov, T., 2014. Distributed
representations of sentences and documents.
31th International Conference on Machine
Learning, China.
- Mikolov T., Sutskever, I., Chen, K., 2013.
0010, Corrado, G., Dean, J., 2013. Distributed
Representations of Words and Phrases and
their
Compositionality,
AAAI
Spring
Symposium AI Technologies for Homeland
Security 200591-98, cs.CL, 3111-3119.
- Şenel, L.K., Yücesoy, V., Koç, A., Çukur, T.,
2018. Interpretability Analysis for Turkish
Word Embeddings. In 2018 26 th Signal
Processing and Communications Applications
Conference (SIU) 1-4. IEEE.
- Amasyalı, M.F., Balcı, S., Mete, E., Varlı,
E.N.,
2012.
Türkçe
Metinlerin
Sınıflandırılmasında
Metin
Temsil
Yöntemlerinin Performans Karşılaştırılması
EMO Bilimsel Dergi, 2(4), 95-104.
- Arabacı, M.A., Esen, E., Atar, M.S., Yılmaz,
E., Kaltalıoğlu, B., 2018. Detecting Similar
Sentences Using Word Embedding. In 2018
26 th Signal Processing and Communications
Applications Conference.
- Esen, E., Özkan, S., 2017. Analysis of Turkish
Parliament Records in Terms of Party
Coherence. In 2017 25 th Signal Processing and
Communications Applications Conference
(SIU) 1-4. IEEE.
- Amasyali, M.F., Taşköprü, H., Çalışkan, K.,
2018. Duygudurum Analizinde Kelimeler,
Anlamlar, Karakterler Words, Meanings,
Characters in Sentiment Analysis. In 2018 Innovations in Intelligent Systems and
Applications Conference (ASYU).
- Ayata, D., Saraclar, M., Ozgur, A., 2017.
Turkish Tweet Sentiment Analysis with Word
Embedding and Machine Learning. 1-4.
10.1109/SIU.2017.7960195.
- Keleş, M.K., Özel, S.A., 2017. Similarity
Detection Between Turkish Text Documents
With Distance Metrics. In 2017 International
Conference on Computer Science and
Engineering (UBMK) 316-321. IEEE.
- Penington, J., Socher, R., Manning, C.D.,
2008.
GloVe:GlobalVectors
for
Word
Representation, Emprical Methods in Natural
Language Processing (EMNLP), 1532-1543.
- Jones, S., Karen, 1972. A Statistical
Interpretation of Term Specificity and its
Application in Retrieval. Journal of
Documentation, 28(1), 11-21.
- Rong, X., 2014. Word2Vec Parameter
Learning Explained, arXiv:1411.2738.
- https://tr.wikipedia.org/wiki/Fausto_Zonaro,
(15.05.2019 tarihinde erişildi)