Süleyman KESER, Nuri DOĞAN, Sümeyra SOYSAL

MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ

Bu araştırmanın amacı, puanlayıcıların çalışma yılı olarak ele alınan mesleki kıdem farklılıklarının, farklı standart belirleme yöntemleri ile elde edilen kesme puanlarına etkisini incelemektir. Araştırmada Millî Eğitim Bakanlığı tarafından 2014-15 ve 2015-1016 eğitim ve öğretim yıllarında sekizinci sınıf öğrencilerine ortak sınav şeklinde uygulanan Temel Eğitimden Orta Öğretime Geçiş sınavı 1. dönem matematik sorularının ayırt edicilik açısından en iyi 20 maddesinden oluşturulan çoktan seçmeli matematik başarı testi kullanılmıştır. Söz konusu test, Ankara ilindeki ortaokullardan seçkisiz örnekleme yöntemi ile belirlenen 907 sekizinci sınıf öğrencisine uygulanmıştır. Maddelerin Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile değerlendirilmesi amacıyla hazırlanan uzman değerlendirme formu ile aynı okullarda görevli ve hali hazırda sekizinci sınıflarda ders vermekte olan 40 matematik öğretmeninin değerlendirmeleri alınmıştır. Elde edilen kesme puanları Genellenebilirlik Kuramı ile analiz edilmiştir. Yapılan analizler sonucunda; Angoff, Nedelsky ve Ebel standart belirleme çalışmalarında, mesleki olarak daha kıdemli olan puanlayıcı grubunun kesme puanları belirlemede göreceli olarak daha tutarlı olduğu görülmüştür. Kıdem seviyesinin artmasının yanı sıra puanlayıcı gruplarının çalışma yılı açısından homojenleşmesinin de belirlenen standartların tutarlılığını artırabileceği görülmüştür.

Anahtar Kelimeler:

Standart belirleme, Angoff, Ebel, Nedelsky, genellenebilirlik kuramı

PDF

___

American Educational Research Association (AERA), American Psychological Association (APA), & National Council on Measurement in Education (NCME) (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
Atılgan, H. (2004). Genellenebilirlik Kuramı Ve Çok Değişkenlik Kaynaklı Rasch Modelinin Karşılaştırılmasına İlişkin Bir Araştırma. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.
Behuniak, P., Archambault, X. F., & Gable, R. K. (1982). Angoff and Nedelsky Standard Setting Procedures: Implications for the Validity of Proficiency Test Score Interpretation. Educational and Psychological Measurement, 42, 247-255.
Bejar, I. I. (1983). Subject Matter Expert’s Assesment of Item Statistics. Applied Psychological Measurement, 7(3), 303-310.
Brennan, R. L. (2001). Generalizability Theory - Statistics for Social Sciences and Public Policy. New York: Springer.
Brennan, R. L., & Lockwood, R. E. (1980). A Comparison of the Nedelsky and Angoff Cutting Score Procedures Using Generalizability Theory. Applied Psychological Measurement, 4(2), 219-240.
Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş. ve Demirel, F. (2016). Bilimsel Araştırma Yöntemleri. Ankara: Pegem Akademi.
Cardinet, J., Johnson, S., & Pini, G. (2009). Applying Generalizability Theory using EduG (Quantitative Methodology Series). New York, NY: Routledge.
Chang, L. (1999). Judgmental Item Analysis of the Nedelsky and Angoff Standard-Setting Methods. Applied Measurement in Education, 12(2), 151-165.
Chang, L., Dziuban, C. D., Hynes, M. C., & Olson, A. H. (1996). Does a Standard Reflect Minimal Competency of Examinees or Judge Competency? Applied Measurement in Education, 9(2), 161-173.
Cizek, G. J. (1996). An NCME instructional module on: Setting passing scores. Educational Measurement: Issues and Practice, 15(2), 20-31.
Cizek, G. J., & Bunch, M. B. (2007). Standard Setting A Guide to Establishing and Evaluating Performance Standards on Tests. Thousand Oaks, California: Sage Publications.
Crocker, L., & Algina, J. (2008). Introduction to Classical and Modern Test Theory. Mason, Ohio: Cengage Learning.
Çetin, S. (2011). İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.
Demir, O. (2014). Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile belirlenen kesme puanlarının karşılaştırılması. (Yayımlanmamış Yüksek Lisans Tezi). Abant İzzet Baysal Üniversitesi, Bolu.
Dewey, J. (1997). Experience and Education. New York, NY: Touchstone. Glass, G. V. (1978). Standards and Criteria. Journal of Educational Measurement, 15(4), 237-261.
Gündeğer, C. ve Doğan, N. (2014). Angoff, Yes/No ve Ebel Standart Belirleme Yöntemlerinin Karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 53-60.
Hambleton, R. K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. In G. J. Cizek (Ed.), Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ, Lawrence Erlbaum Associates: 89-116.
Hambleton, R. K., & Pitoniak, M. J. (2006). Setting performance standards. In R. L. Brennan (Ed.), Educational Measurement (4 ed.). Westport, CT: American Council on Education & Praeger.
Hsieh, M. (2013). An application of Multifaceted Rasch measurement in the Yes/No Angoff standard setting procedure. Language Testing, 30(04), 491-512. IRDP. (2010). EDUG User Guide. Neuchatel, Switzerland: Swiss Society for Research in Education Working Group.
Kane, M. (1994). Validating the Performance Standards Associated With Passing Scores. Review of Educational Research, 64(3), 425-461.
Kane, M. T. (2001). So much remains the same: Conception and status of validation in setting standards. In G. J. Cizek (Ed.), Setting performance standards: concepts, methods, and perspectives (pp. 53-88). Mahwah, NJ: Lawrence Erlbaum.
Kara, Y. ve Kelecioğlu, H. (2015). Puanlayıcı Niteliklerinin Kesme Puanlarının Belirlenmesine Etkisinin Genellenebilirlik Kuramı’yla İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme, 6(1), 58-71.
Kozaki, Y. (2004). Using GENOVA and FACETS to set multiple standards on performance assessment for certification in medical translation from Japanese into English. Language Testing, 21(1), 1-27.
Lim, G. S., Geranpayeh, A., Khalifa, H., & Buckendahl, C. W. (2013). Standard Setting to an International Reference Framework: Implications for Theory and Practice. International Journal of Testing, 13(1), 32-49.
Lumley, T., & McNamara, T. F. (1995). Rater characteristics and rater bias: implications for training. Language Testing, 12, 54-71.
McCann, R. G., & Stanley, G. (2006). The Use of Rasch Modeling to Improve Standard Setting. Practical Assesment, Research & Evaluation, 11(2).
MEB. (2015b). 2014-2015 Eğitim Öğretim Yılı I. Dönem Ortak Sınavı Test ve Madde İstatistikleri. Ankara. [Çevrim-içi: http://odsgm.meb.gov.tr/test/analizler/docs/2014-2015-1-Donem-Ortak-Sinavlar-Genel-Bilgiler.pdf, Erişim tarihi: 17 Ekim 2016]
MEB. (2016). 2015-2016 Eğitim Öğretim Yılı I. Dönem Ortak Sınavı Test ve Madde İstatistikleri. Ankara. [Çevrim-içi: http://odsgm.meb.gov.tr/test/analizler/docs/2015-2016-ortak-sinav-1-donem-madde-istatistikleri.pdf, Erişim tarihi: 17 Ekim 2016]
Shavelson, R. J., & Webb, N. M. (1991). Generalizability theory: A primer (Vol. 1): Newbury Park, CA: Sage Publications.
Shulruf, B., Wilkinson, T., Weller, J., Jones, P., & Poole, P. (2016). Insights into the Angoff method: results from a simulation study. BMC Med Educ, 16, 134. Taşdelen, G., Kelecioğlu, H. ve Güler, N. (2010). Nedelsky ve Angoff Standart Belirleme Yöntemleri ile Elde Edilen Kesme Puanlarının Genellenebilirlik Kuramı ile Karşılaştırılması. Mersin Üniversitesi Eğitimde Ölçme ve Psikolojide Ölçme ve Değerlendirme II. Ulusal Kongresi, Mersin.
Tseng, F.-L., Chiou, J.-M., & Sung, Y.-T. (2015). A Validity Study For Yes/No Angoff Standard Setting Method Using Cluster Analysis. Paper presented at the 12th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD), Taipei, Chinese.
Violato, C., Marini, A., & Lee, C. (2003). A validity study of expert judgment procedures for setting cutoff scores on high-stakes credentialing examinations using cluster analysis. Eval Health Prof, 26(1), 59-72.
Wu, S. M., & Tan, S. (2015). Managing rater effects through the use of FACETS analysis: the case of a university placement test. Higher Education Research & Development, 35(2), 380-394.
Yousuf, N., Violato, C., & Zuberi, R. W. (2015). Standard Setting Methods for Pass/Fail Decisions on High-Stakes Objective Structured Clinical Examinations: A Validity Study. Teach Learn Med, 27(3), 280-291.