Investigation of the Reliability of Teachers, Self and Peer Assessments at Primary School Level with Generalizability Theory
Investigation of the Reliability of Teachers, Self and Peer Assessments at Primary School Level with Generalizability Theory
This study aims at determining the reliability coefficients of teacher, self and peer assessments carried out at primary school level. In line with this aim, an interdisciplinary approach is adopted, and the notion of helpfulness included within the scope of values education is addressed in connection with the practices followed in Turkish, social studies and music lessons. The study group consists of 30 students of the third graders from a public school in the city of Ankara. In the light of the aim of the study, the Generalizability Theory is used for the data analysis. It is found out at the end of the study that the variance component estimated for the main effect of the student is the largest component of the total variance in all three lessons. When G and Ф coefficients are examined, reliability coefficients are found to be over .80 in music, and over .90 in Turkish and social studies. According to G-Facet analysis results, when teacher and peer assessments are excluded from the analysis, respectively, G and Ф coefficients have a decreasing tendency whereas these coefficients increase when self-assessment is excluded from the analysis. Especially in the music lesson, the reliability coefficients obtained by excluding teacher and peer assessments from the analysis are found to be around .60, which is a remarkable result.
___
- Alıcı, D. (2010). Öğrenci performansının değerlendirilmesinde kullanılan diğer ölçme araç ve yöntemleri. S. Tekindal (Ed.), Eğitimde ölçme ve değerlendirme (2. Baskı) içinde (ss. 127-168). Ankara: Pegem Akademi.
- Atılgan, H. (2005). Genellenebilirlik kuramı ve puanlayıcılar arası güvenirlik için örnek bir uygulama. Eğitim Bilimleri ve Uygulama Dergisi, 4(7), 95-108. Retrieved from http://www.ebuline.com/pdfs/7Sayi/7_6.pdf
- Bahar, M. (2006). Fen ve teknoloji öğretimi. Ankara: Pegem A Yayıncılık.
- Bahar, M., Nartgün, Z., Durmuş, S., & Bıçak, B. (2008). Geleneksel-alternatif ölçme ve değerlendirme öğretmen el kitabı. Ankara: Pegem A Yayıncılık.
- Ballantyne, R., Huges, K., & Mylonas, A. (2002). Developing procedures for implementing peer assessment in large classes using an action research process. Assessment and Evaluation in Higher Education, 27(5), 427-441. doi: 10.1080/0260293022000009302
- Börkan, B. (2017). Akran değerlendirmesinde puanlayıcı katılığı kayması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(4), 469-489. doi: 10.21031/epod.328119
- Boud, D. (1986). Implementing student self-assessment. Sydney: Higher Education Research and Development Society of Australasia.
- Brennan, R. L. (2001). Generalizability theory. New York, NY: Springer-Verlag Inc.
- Büyükkıdık, S., & Anıl, D. (2015). Performansa dayalı durum belirlemede güvenirliğin genellenebilirk kuramında farklı desenlerle incelenmesi. Eğitim ve Bilim, 40(177), 285-296. doi: 10.15390/EB.2015.2454
- Çeçen, M. A. (2011). Türkçe öğretmenlerinin seviye belirleme sınavı ve Türkçe sorularına ilişkin görüşleri. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(15), 201-211. Retrieved from http://www.acarindex.com/dosyalar/makale/acarindex-1423909379.pdf
- Cihanoğlu, M. O. (2008). Alternatif değerlendirme yaklaşımlarından öz ve akran değerlendirmenin işbirlikli öğrenme ortamlarında akademik başarı, tutum ve kalıcılığa etkileri (Yayımlanmamış doktora tezi). Dokuz Eylül Üniversitesi Eğitim Bilimleri Enstitüsü, İzmir.
- Cram, B. (1995). Self-assessment: From theory to practice. Developing a workshop guide for teachers. In G. Brindley (Ed.), Language assessment in action (pp. 271-350). Sydney: National Centre for English Language Teaching and Research, Macquerie University.
- Doğan, C. D., & Anadol, H. Ö. (2017). Genellenebilirlik kuramında tümüyle çaprazlanmış ve maddelerin puanlayıcılara yuvalandığı desenlerin karşılaştırılması. Kastamonu Eğitim Dergisi, 25(1), 361-372. Retrieved from https://dergipark.org.tr/tr/pub/kefdergi/issue/27737/309180
- Falchikov, N. (1986). Product comparisons and process benefits of collaborative peer group and self assesments. Assesment and Evaluation in Higher Education, 11(2), 146-166. doi: 10.1080/0260293860110206
- Falchikov, N. (2001). Learning together; Peer tutoring in higher education. London: Routledge-Falmer.
- Farrokhi, F., Esfandiari R., & Dalili, M. V. (2011). Applying the many-facet rasch model to detect centrality in self-assessment, peer-assessment and teacher assessment. World Applied Sciences Journal, 15(Innovation and Pedagogy for Lifelong Learning), 70-77. Retrieved from https://pdfs.semanticscholar.org/dd21/ba5683dde8b616374876b0c53da376c10ca9.pdf
- Farrokhi, F., Esfandiari R., & Schaefer, E. (2012). A many-facet rasch measurement of differential rates severity/leniency in three types of assessment. JALT Journal, 34(1), 79-102. Retrieved from https://pdfs.semanticscholar.org/d79d/75e55050f9b977ffecd079ba5aadcdc10443.pdf?_ga=2.184016357.2134357192.1569916691-1527179006.1569916691
- Güler, N. (2009). Generalizability theory and comparison of the results of g and d studies computed by SPSS and Genova packet programs. Education and Science, 34(154), 93-103.
- Güler, N. (2011). Rasgele veriler üzerinde genellenebilirlik kuramı ve klasik test kuramı’na göre güvenirliğin karşılaştırılması. Education and Science, 36(162), 225-234.
- Güler, N., Kaya-Uyanık, G., & Taşdelen-Teker, G. (2012). Genellenebilirlik kuramı. Ankara: Pegem Akademi.
- İşman, A., & Eskicumalı, A. (2003). Eğitimde planlama ve değerlendirme (4. Baskı). İstanbul: Değişim Yayınları.
- Karakaya, İ. (2015). Comparison of self, peer and instructor assessments in the portfolio assessment by using many facet rasch model. Journal of Education and Human Development, 4(2), 182-192. doi: 10.15640/jehd.v4n2a22
- Kurudayıoğlu, M., Şahin Ç., & Çelik, G. (2008). Türkiye’de uygulanan Türk edebiyatı programındaki ölçme ve değerlendirme boyutu uygulamasının değerlendirilmesi: Bir durum çalışması. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 9(2), 91-101. Retrieved from http://kefad.ahievran.edu.tr/InstitutionArchiveFiles/f44778c7-ad4a-e711-80ef-00224d68272d/d1a3a581-af4a-e711-80ef-00224d68272d/Cilt9Sayi2/JKEF_9_2_2008_91_101.pdf
- Kutlu, Ö., Doğan, D., & Karakaya, İ. (2008). Öğrenci başarısının belirlenmesi, (performansa ve portfolyoya dayalı durum belirleme). Ankara: Pegem Akademi.
- Matsuno, S. (2009). Self-, peer-, and teacher-assessments in Japanese university EFL writing classrooms. Language Testing, 26(1), 75-100. doi: 10.1177/0265532208097337
- McMillan, H. J. (2015). Sınıf içi değerlendirme. (Çev: A. Arı). Ankara: Pegem A Yayıncılık.
- Milli Eğitim Bakanlığı. (2013). İlköğretim Türkçe 3 öğretmen kılavuz kitabı. Ankara: Milli Eğitim Bakanlığı.
- Milli Eğitim Bakanlığı. (2017a). İlkokul hayat bilgisi öğretmen kılavuz kitabı 3. sınıf. Ankara:
Milli Eğitim Bakanlığı.
- Milli Eğitim Bakanlığı. (2017b). İlköğretim müzik 4 öğretmen kılavuz kitabı. Ankara: Milli Eğitim Bakanlığı.
- Mistar, J. (2011). A study of the valıdıty and relıabılıty of self-assessment. Teflin Journal, 22(1), 45-58. Retrieved from http://journal.teflin.org/index.php/journal/article/viewFile/18/20
- Nalbantoğlu-Yılmaz, F. (2017). Reliability of scores obtained from self-, peer-, and teacher-assessments on teaching materials prepared by teacher candidates. Educational Sciences: Theory & Practice, 17(2), 395-409. doi: 10.12738/estp.2017.2.0098
- Osterman, K. F., & Kottkamp, R. B. (1993). Reflective practice for educators: Improving schooling through professional development. Newbury Park, CA: Corwin Press.
- Race, P. (2001). A briefing on self, peer and group assessment, Retrieved from https://blogs.shu.ac.uk/teaching/files/2016/09/id9_briefing_on_self_peers_and_group_assessment_snas_901.pdf
- Salmaner, R. (2015). Yazma becerilerinin değerlendirilmesinde öz akran ve öğretmen puanlarının çok yüzeyli rasch ölçme modeliyle incelenmesi (Yayımlanmamış yüksek lisans tezi). Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
- Sarıtaş, S. (2015). Problem çözme becerilerinin değerlendirilmesinde öz, akran ve öğretmen puanlarının çok yüzeyli Rasch ölçme modeli ile incelenmesi (Yayımlanmamış yüksek lisans tezi). Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
- Shavelson, R. J., & Webb, N. M. (1991). Generalizability theory: A primer. USA: Sage Publications.
- Stiggins, J. R. (1997). Student-centered classroom assessment. New Jersey, NJ: Merrill, Prentice Hall, Inc.
- Stiggins, R., & Chappius, J. (2005). Using student-involved classroom assessment to close achievement gaps. Theory into Practıce, 44(1), 11–18. Retrieved from https://www.jstor.org/stable/3496986?seq=1#metadata_info_tab_contents
- Sünbül, A. M. (2007). Öğretim ilke ve yöntemleri. Konya: Çizgi Kitabevi.
Taşdelen-Teker, G., & Güler, N. (2019). Thematic content analysis of studies using generalizability theory. International Journal of Assessment Tools in Education, 6(2), 279-299. doi: 10.21449/ijate.569996
- Taşdelen-Teker, G., Şahin, M. G., & Baytemir, K. (2016). Using generalizability theory to investigate the reliability of peer assessment. Journal of Human Sciences, 13(3). 5574-5586. Retrieved from https://j-humansciences.com/ojs/index.php/IJHS/article/view/4155/2035
- Tekindal, S. (2014). Okullarda ölçme ve değerlendirme yöntemleri (4. Basım). Ankara: Nobel Akademik Yayıncılık.
- Topping, K. J., Smith, E. F., Swanson, I., & Elliot, A. (2000). Formative peer assessment of academic writing between postgraduate students. Assessment and Evaluation in Higher Education, 25(2), 149-169. doi: 10.1080/713611428
- Turgut, M. F., & Baykul, Y. (2015). Eğitimde ölçme ve değerlendirme (7. Baskı). Ankara: Pegem Akademi.
- Wilson, J., & Jan, W. L. (1993). Thinking for themselves: Developing strategies for reflective learning. Australia: Eleanor Curtain Publishing.
- Woolfolk, A. (2002). Educational psychology. New York, NY: Pearson.
- Yaşar, M. (2017). Ölçme ve değerlendirmenin önemi. S. Tekindal (Ed.), Eğitimde ölçme ve
değerlendirme (5. Baskı) içinde (ss. 2-8). Ankara: Pegem Akademi.
- Yıldıztekin, B. (2014). Klasik test kuramı ve genellenebilirlik kuramından puanlayıcılar arası tutarlılığın farklı yöntemlere göre karşılaştırılması (Yayımlanmamış yüksek lisans tezi). Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.