GENELLENEBİLİRLİK KURAMINDA ÇOK YÜZEYLİ DESENLERİN İNCELENMESİ

Araştırmanın temel amacı; Genellenebilirlik kuramına göre geometri performans görevlerini puanlamada öğrencilerin birden fazla puanlayıcı tarafından puanlanmasıyla oluşturulan desenlerden elde edilen G çalışmaları sonuçlarını incelemektir. Araştırmanın çalışma grubunu, 2014- 2015 öğretim yılında Mersin ili merkez liselerinde öğrenim gören 128 12. sınıf öğrencisi oluşturmaktadır. Ayrıca araştırmada öğrencilerin geometri performans görevlerinin puanlanmasında sekiz puanlayıcı görev almıştır. Araştırmada puanlayıcıların öğrencileri sekiz görev doğrultusunda puanlamasıyla oluşturulan (b:o)xgxp , (b:o)x(g:p) ve (b:(p:o))xg desenleri (b: öğrenci, g: görev, p: puanlayıcı, o: okul) için ayrı ayrı G çalışması yapılmıştır. Elde edilen sonuçlara göre, aynı veri seti üzerinden kurgulanan desenlerde varyans bileşenlerine ilişkin büyüklükleri, varyans değişimlerinin büyüklük açısından sıralamadaki yerleri farklılıklar göstermektedir. Bunun yanı sıra söz konusu desenlerdeki artık varyans değeri de değişmektedir. (b:o)xpxg deseni için kestirilen artık varyans bileşeni, (b:o)x(g:p) ve (b:(p:o))xg desenlerine göre oldukça küçük bulunmuştur. Bu bağlamda G kuramında duruma ilişkin kurgulanan desenin doğruluğunun yapılacak yorumların güvenirliğini ve geçerliğini etkileyeceği sonucuna ulaşılmıştır. Her bir desen için elde edilen G ve Phi katsayıları dikkate alındığında; (b:(p:o))xg deseninin varyans bileşenlerini açıklama oranı daha az gibi görünse de G ve Phi katsayılarının diğer iki desene göre daha yüksek çıktığı sonucuna ulaşılmıştır.

Anahtar Kelimeler:

klasik test kuramı, genellenebilirlik kuramı, çok yüzeyli desen, performans ölçme

PDF

___

Aktaş, M., Başusta, B. ve Alıcı, D.(2016). Farklı Puanlama Anahtarlarının Güvenirliğinin Genellenebilirlik Kuramı ile İncelenmesi. 1-3 Eylül 2016 Eğitimde ve Pskolojide Ölçme ve Değerlendirme Kongresi. Akdeniz Üniversitesi Eğitim Fakültesi, Antalya.Alharby, E. R. (2006). A Comparison Between Two Scoring Methods, Holistic vs. Analytic Using Two Measurement Models, The Generalizability Theory And The Many Facet Rasch Measurement Within The Context of Performance Assessment. (Yayınlanmamış Doktora Tezi). The Pennsylvania State University.Alkan, M. (2013). Pısa 2009 Okuma Becerileri Açık Uçlu Sorularının Puanlanmasında Genellenebilirlik Kuramındaki Farklı Desenlerin Karşılaştırılması. Doktora Tezi, Hacettepe Üniversitesi, Ankara. Anıl, D. ve Büyükkıdık, S. (2012). Genellenebilirlik Kuramında Dört Facetli Karışık Desen Kullanımı Için Örnek Bir Uygulama. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, Kış , 3(2), 291-296.Atılgan, H. (2004). Genellenebilirlik Kuramı Ve Çok Değişkenlik Kaynaklı Rasch Modelinin Karşılaştırılmasına Ilişkin Bir Araştırma. (Yayınlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.Atılgan, H. ve Tezbaşaran, A. A. (2005). Genellenebilirlik Kuramı Alternatif Karar Çalışmaları Ile Senaryolar ve Gerçek Durumlar Için Elde Edilen G ve Phi Katsayılarının Tutarlılığının Incelenmesi. Eurasian Journal Of Educational Research, 18, 236-252. Atılgan, H. (Ed.). (2009). Eğitimde Ölçme ve Değerlendirme. Ankara: Anı Yayıncılık. Baykul, Y. (2000). Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. Ankara: ÖSYM Yayınları. Baykul, Y. (2010). Eğitimde Ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulamasi. Ankara: Pegema Yayıncılık.Brennan, R. L. (1992). Elements of Generalizability Theory (Rev. Ed). Iowa City, IA. American College Testing. Brennan, R. L. (2001). Generalizability Theory. New York: Springer- Verlog.Brennan, R. L. (2001). Variability Of Estimated Variance Components And Related Statistics In A Performance Assessment. Applıed Measurement In Educatıon, 14(2), 191–203.Brennan, R. L. (2011). Generalizability Theory And Classical Test Theory. Center For Advanced Studies In Measurement And Assessment. Applıed Measurement In Educatıon, 24: 1–21.Brualdi, A. (1998). Implementing Performance Assessment In The Classroom. Practical Assessment, Research & Evaluation, 6(2), Http://Pareonline.Net/Getvn.Asp?V=6&N=2.Büyükkıdık, S. (2012). Problem Çözme Becerisinin Değerlendirilmesinde Puanlayıcılar Arası Güvenirliğin Klasik Test Kuramı ve Genellenebilirlik Kuramına Göre Karşılaştırılması. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara.Büyüköztürk, Ş. (2007). Performansa Dayalı Durum Belirleme Nedir? İlköğretmen Dergisi, 8, 28- 32.Chang, L. & Dennis, H. (2010). Models Of Generalizability Theory In Analyzing Existing Faculty Evaluation Data . Applıed Measurement In Educatıon, 13(3), 255–275.Chien, Y.(2008). An Investıgatıon Of Testlet-Based Item Response Models Wıth A Random Facets Desıgn In Generalızabılıty Theory. Doktora Tezi, The University Of Iowa.Cohen, R. J. & Swerdlik, M. E. (2013). Psikolojik Test Ve Değerleme (Çev. E. Tavşancıl). Nobel Yayıncılık (7. Basım).Crocker, L., & Algina, J.(1986). Introduction To Classical And Modern Test Theory. Harcourt Brace Javanovich College Publishers, USA.Çakıcı, D. (2011). Genellenebilirlik Kuramı ve Lojistik Regresyona Dayalı Hesaplanan Puanlayıcılar Arası Tutarlığın Karşılaştırılması. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara.Doğan, C.D ve Anadol, H.Ö. (2017). Genellenebilirlik Kuramında Tümüyle Çaprazlanmış ve Maddelerin Puanlayıcılara Yuvalandığı Desenlerin Karşılaştırılması. Kastamonu Eğitim Dergisi Cilt:25 No: 1, 361-372.Erkuş, A. (2003). Psikometri Üzerine Yazılar. Ankara: TPD Yayınları.Fan, X. & Sun, S. (2013). Generalizability Theory As a Unifying Framework Of Measurement Reliability In Adolescent Research. Journal Of Early Adolescence 2014, Vol 34(1), 38 –65 Güler, N. (2008). Klasik Test Kuramı, Genellenebilirlik Kuramı Ve Rasch Modeli Üzerine Bir Araştırma. Doktora Tezi. Hacettepe Üniversitesi, Ankara.Güler, N, Kaya Uyanık Ve Taşdelen Teker, G. (2012). Genellenebilirlik Kuramı. Pegema Yayıncılık.Karasar, N. (1998). Araştırmalarda Rapor Hazırlama Yöntemi. Ankara: Pars MatbaacılıkKim,Y. (1993). The Use Of A 2-Parameter Graded IRT Model And Generalizability Theory in The Development and Validation of a Mathematics Performance Test. Doktora Tezi, University Of Pittsburgh.Moskal, Barbara M. & Jona. Leydens (2000). Scoring Rubric Development: Validity And Reliability. Practical Assessment, Research & Evaluation, 7(10). Available Online: Http://Pareonline.Net/Getvn.Asp?V=7&N=10Mushquash, C. & O’Connor, B. P. (2006). Spss and Sas Programs For Generalizability Theory Analysis. Behavior Research Methods. 38 (3), 542-547.Nalbantoğlu, F. (2009). Performans Ölçümlerinde Genellenebilirlik Kuramıyla Farklı Desenlerin Karşılaştırılması. (Yayınlanmamış Yüksek Lisans Tezi). Hacettepe Üniversitesi, Ankara. Nalbantoğlu, F. ve Başusta, B. (2015). Genellenebilirlik Kuramıyla Dikiş Atma Ve Alma Becerileri Istasyonu Güvenirliğinin Değerlendirilmesi. Eğitimde ve Psikolojide Ölçme Ve Değerlendirme Dergisi, 6 (1), 107-116.Özberk, E.H. (2012). Genellenebilirlik Kuramı Karar Çalışmalarında Kullanılan Farklı Katsayıların Karşılaştırılması. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara.Shavelson, J. R, & Webb N. M. (1991). Generalizability Theory :A Primer. Newbury Park. CA: Sage Publications.Taylor, M. A. & Pastor, D. A. (2013). An Application of Generalizability Theory To Evaluate Thetechnical Quality of An Alternate Assessment. Applied Measurement In Education, 26, 279–297.Tekin, H. (2010). Eğitimde Ölçme ve Değerlendirme. Ankara : Yargı Yayınevi.Turgut, M.F., Baykul, Y. (2010). Eğitimde Ölçme ve Değerlendirme. Pegema Yayıncılık.Yin, Y. & Shevalson, R. (2004). Application Of Generalizability Theory To Concept-Map Assessment Research. 26 Mayıs 2016 Tarihinde Http://Www.Stanford.Edu/Dept/SUSE/SEAL Adresinden Erişildi. Yin, Y. (2008). Application of Generalizability Theory To Concept Map Assessment Research. Applıed Measurement In Educatıon, 21, 273–291.