Türkçe'de kullanılan işlev kelimelerin Zipf 1. Kanunu esasında değerlendirilmesi

Bu çalışmada doğal dil içinde gramer yapısının oluşturulması amacıyla kullanılan, içinde bulunduğu metnin taşıdığı enformasyon miktarını değiştirmeyen kelimeler (işlev kelimeler) araştırılmıştır. Araştırmanın temelini Zipf’in 1. Kanunu’nun Türkçe metinler üzerinde sınanması ve yüksek frekanslı kelimelerin işlev kelime olacağı beklentisi oluşturmaktadır. Çalışmada önerilen yöntem ile ilgili testler Türkçe metinler içeren farklı derlemler üzerinde yapılmış, sonuçlar değerlendirilmiştir.

Evaluation of function words in Turkish based on the Zipf's 1. Law

In this study, function words that are used to construct the grammatical structure in Natural Language and that does not change the information content of the text have been investigated. Application of Zipf’s first Law on Turkish texts and expectance of high frequency words to be function words constitute the fundamentals of the research. In the study the test for the proposed method has been performed on different corpus including Turkish texts ans results have been evaluated.

PDF

___

1. Kornai, A., How many words are there?, Glottometrics 2002/4, 61-86p., 2002.
2. Zipf, G. K., Human Behaviour and the Principles of Least Effort, Cambridge, MA, Addison-Wesley, 1949.
3. Manning, C.D., Schütze, H., Foundations of Statistical Natural Language Processing. The MIT Press, Cambridge, Massachusetts, London, England, 2003.
4. Hakkani-Tür, D.Z., Oflazer, K., and Tür, G., Statistical morphological disambiguation for agglutinative languages, International Conference On Computational Linguistics, Proceedings of the 18th conference on Computational Linguistics - Volume 1, Saarbrücken, Germany, 285 - 291 , 2000.
5. Dinçer, T., Türkçe için İstatistiksel Bir Bilgi Geri- getirim Sistemi, Doktora Tezi, U.B.E.,Ege Üniversitesi, 2004.
6. Tuldava, J., A Mathematical Model Of The Vocabulary-Text Relation. COLING 1980, 600-604, 1980.
7. Alpkoçak, A., Kut, A., ve Özkarahan, E., 1995, Bilgi Bulma Sistemleri için Otomatik Dizinleme Yöntemi, Bilişim’95, Dokuz Eylül Üniversitesi, İzmir, 6s., 1995.
8. Holmes-Higgin, P., Abidi S. R., Ahmad, K., A Description of Texts in a Corpus: 'Virtual' and 'Real' Corpora, EURALEX'94, 1994.
9. Van Rijsbergen, C.J., Information Retrieval (2nd ed.), Butterworths, London, 1979.
10. Argamon, S., Levitan, S., Measuring the Usefulness of Function Words for Authorship Attribution, Proceedings of ACH/ALLC Conference 2005 in Victoria, BC, Canada, 2005.
11. Cleveland, D. B. , Cleveland, A. D., Introduction to indexing and abstracting, Libraries Unlimited, Inc., Littleton, Colorado, 1983.
12. Baayen, R. H., Word Frequency Distributions, Dordrecht: Kluwer Academic Publishers, 2001.
13. Kumova, S., Derlem Hazırlama Kriterlerinin Oluşturulması, Yüksek Lisans Tezi, U.B.E., Ege Üniversitesi, 2005.
14. Powers, D. M. W., Applications and Explanations of Zipf’s law, NEMLAP3/CONLL98, New methods in language processing and Computational natural language learning, 151-160, 1998.