Kompozisyon Tipi Sınavlarda Kompozisyon Biçimsel Özelliklerinden Kestirilen Puanların Anahtarlarla ve Genel İzlenimle Elde Edilen Puanlarla İlişkisi

Bu araştırmada, kompozisyon sınavlarında, kompozisyonun biçimsel özelliklerinin anahtarla puanlamayı ve genel izlenimle puanlamayı ne derece yordadığı ve en iyi yordayıcıların hangi biçimsel özellikler olduğu incelenmiştir. Ayrıca anahtar ile ve genel izlenimle puanlamanın güvenirlikleri belirlenmeye çalışılmıştır. Bu amaç doğrultusunda Hacettepe Üniversitesi Eğitim Fakültesi İlköğretim Bölümü Sınıf Öğretmenliği Anabilim Dalında 2001-2002 yılında 1. sınıfta öğrenim gören 143 öğrenciye bir kompozisyon sınavı uygulanmıştır. Bu kompozisyonlar iki puanlayıcıya hem anahtarla hem de genel izlenimle puanlattırılmıştır. Kompozisyonların içerik analizi yapılarak, her bir kompozisyonda önceden tanımlanan biçimsel özellikler ve anahtar sözcükler belirlenmiştir. Araştırmanın sonunda biçimsel özelliklerin, anahtarla yapılan puanlamanın 0,52'sini, genel izlenimle yapılan puanlamanın 0,60'ını açıkladığı görülmüştür. Anahtarla puanlamanın güvenirliği 0,45, genel izlenimle puanlamanın güvenirliği de 0,53 bulunmuştur.

The Relation Between Scores Predicted from Structured Features of Essay and Scores Based on Scoring Key and Overall Impression in Essay Type Examinations

The purpose of this research is to determine the extent to which structural features of essays and keywords predict scoring by key and overall impression in writing test; and which structural features are the best predictors; and the degree of inter-reliability of scoring by key and overall impression. For that purposes, a writing test has been administered to 143 udergraduate freshman students enrolled at Hacettepe Universitiy Faculty of Education Department of Elemantary Education Program in Primary Education in 2001-2002 schol year. The writing of the students have been scored by two Turkish Language and Literature teachers using both scoring key and overall impression scoring methods. Predetermined structural features and keywords were identified by-doing content analysis for the compositions written by students. As a result, the expalantion level of the structural features to the key scoring was found 0,52 and the expalantion level of the structural features to the overall impression was found 0,60. Inter-rater reliability of the key scoring was found 0,45, and overall impression scoring was 0,53.

PDF

___

Burstein, J. ve D. MARCU. "Toward using text summarization for essay-based feedback." 20 Eylül 2001 _____http://www.ets. org /research /talnsum.doo.
Burstein, J., K. Kukich, S. Wolff, C. Lu ve M. Chodorow (1998b). "Enriching automated essay scoring using discourse marking." 20 Eylül 2001 _____http://www.ets.org/research/dscrfinl. pdf>.
Burstein, J., K. Kukich,. S. Wolff, C. LU, M. Chodorow, L. B. Harder, ve M. D. Harris (1998c). "Automated scoring using a hybrid feature identification technique." 20 Eylül 2001 _____http://www.ets.org/research/aclfinal.pdf>.
Burstein, J., M. Chodorow (1999). "Automated essay scoring for nonnative english speakers." 20 Eylul 2001 _____http://www. ets.org/research/ac199rev.pdf>.
Burstein, J., K. KUKICH, S. WOLFF, C. LU, ve M. CHODOROW (1998a) "Computer analysis of essays." 20 Eylül 2001 _____http://www.ets.org/research/ncmefinal.pdf>.
Clauser, B. E. "Recurrent issues and recent advances in scoring performance assessments." Applied Psychological Measurement, Vol. 24 No:4, 2000:310-324.
Çetin, B. (2002). Kompozisyon tipi sınavlarda kompozisyonun biçimsel özelliklerinden kestirilen puanların anahtarla ve genel izlenimle puanlanmasından elde edilen puanlarla ilişkisi. Yayımlanmamış Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara.
Enginarlar, H. "A quantitative and qualitative comparison of three techniques of grading ESL/EFL Essays." Journal of Human Sciences, X. sayı l, 1991: 23-45.
Spiegel, M. R. İstatistik 870 çözümlü problem. (Çevirenler: A. Ayaydın, M. Turanlı, İ. H. Armutlulu, Ş. Bülbül.) Bilim Teknik Yayınevi. İstanbul, 1995.
Tekin, H. Eğitimde ölçme ve değerlendirme. Yargı yayınları. Ankara, 1993.
Turgut, M. F. Eğitimde ölçme ve değerlendirme. Onuncu baskı. Yargıcı Matbaası, Ankara, 1997