1913

Madde Yanlılığının Belirlenmesinde Karma Madde Tepki Kuramının Kullanımı

Çalışmada, Temel Eğitimden Ortaöğretime Geçiş (TEOG) sınavı Türkçe alt testi maddelerinin yanlılık gösterip göstermediğini incelemek amaçlanmıştır. Bu kapsamda, ilk olarak maddelerin farklılaşan madde fonksiyonu (FMF) olup olmadığı Karma Madde Tepki Kuramı (KMTK) modeli ve Mantel- Haenszel (MH) yöntemine göre belirlenmiştir. İki yönteme göre de FMF olan maddeler, içerik ve bilişsel düzey bakımından incelenerek yanlılık tespiti için ayrıca uzman görüşüne başvurulmuştur. Araştırmanın örneklemini, TEOG 2015 Türkçe alt testini yanıtlayan öğrencilerden seçkisiz olarak seçilen 5000’i oluşturmaktadır. Analizler sonucu, KMTK’na göre test edilen modellerden, en iyi veriye uyum sağlayan modelin, iki gizil sınıftan oluşan model olduğu görülmüştür. İki yönteme göre de FMF olarak tespit edilen yedi madde vardır. Bu maddelerin dördü ilk gizil gruba avantaj sağlarken üçü ikinci gizil gruba avantaj sağlamaktadır. İlk gizil gruba avantaj sağlayan dört madde, cümlede ve paragrafta anlam konularında, genellikle kavrama düzeyindeki maddelerdir. İkinci gruba avantaj sağlayan üç madde ise Türkçe dilbilgisi konusunda, bilgi düzeyinde maddeler olduğu tespit edilmiştir. Bu bağlamda, maddelerin bu gibi özelliklerinin bazı gruplara avantaj sağlarken bazılarında dezavantaja neden olduğu öne sürülebilir.

The Usage of Mixed Item Response Theory in Determining Item Bias

It is aimed in this study to identify whether the items in the Turkish subtest of the Transition from Basic Education to Secondary Education (TEOG) exam are biased. In this regard, whether the items show differential item functioning (DIF) is analyzed primarily according to the Mixed Item Response Theory (MixIRT) model and the Mantel- Haenszel (MH) method. The items that are determined to display DIF according to both methods are analyzed with regards to the subject field and cognitive level, as well as taking expert opinion on including bias. The sample of this study consists of 5000 students who were randomly selected from among the students that took the TEOG 2015 Turkish subtest. Analyses have shown that among the models based on MixIRT, the model with two latent classes is determined to fit the data best. When the items that indicate DIF according to both methods are analyzed in the DIF examination conducted based on the two latent classes that emerged according to the MixIRT, it is observed that four items that are all advantageous for the first latent group, are understanding level questions that contain the subjects of meaning in sentences and paragraphs. The other three items in favor of the second latent class were seen to be knowledge level questions measuring the Turkish grammar subject. In this context, it can be submitted that item features are favored for some groups and disadvantageous for some others

PDF

___

Camilli, G., & Shepard, L. A. (1994). MMSS: Methods for identifying biased test items. Thousand Oaks, CA: Sage. Chaimongkol, S., Huffer, F. W. & Kamata, A. (2007). An explanatory differential item functioning (DIF) model by the WinBUGS 1.4. Songklanakarin Journal of Science and Technology, 29, 449–458.
Choi, Y., Alexeev, N., & Cohen, A. S. (2015). Differential item functioning analysis using a mixture 3-parameter logistic model with a covariate on the TIMSS 2007 mathematics test. International Journal of Testing, 15(3), 239-253. doi: 10.1080/15305058.2015.1007241.
Clauser, B. E., & Mazor, K. M. (1998). Using statistical procedures to identify differentially functioning test items. Educational Measurement: Issues and Practice, 17(1), 31-44. doi: 10.1111/j.1745-3992.1998.tb00619.x
Cohen, A. S., & Bolt, D. M. (2005). A mixture model analysis of differential item functioning. Journal of Educational Measurement, 42(2), 133–148. doi: 10.1111/j.1745-3984.2005.00007.
Çokluk, Ö. S., Şekercioğlu, G. & Büyüköztürk, S. (2012). Sosyal bilimler için çok değişkenli istatistik: SPSS ve lisrel uygulamaları. Ankara: Pegem Akademi.
De Ayala, R. J. (2009). The theory and practice of item response theory. New York, NY: Guilford Press.
De Ayala, R. J., Kim, S. H., Stapleton, L. M., & Dayton, C. M. (2002). Differential item functioning: A mixture distribution conceptualization. International Journal of Testing, 2(3&4), 243-276. doi: 10.1080/15305058.2002.9669495.
De Mars, C. E., & Lau, A. (2011). Differential item functioning detection with latent classes: How accurately can we detect who is responding differentially? Educational and Psychological Measurement, 71(4), 597–616. doi: 10.1177/0013164411404221.
Dorans, N. J., & Holland, P. W. (1993). DIF detection and description: Mantel haenszel and standardization. In P. W. Holland, and H. Wainer, (Eds.), Differential item functioning (p. 35–66), New Jersey: USA.
Finch, W. H. & French, B. F. (2012). Parameter estimation with mixture item response theory models: A monte carlo comparison of maximum likelihood and bayesian methods. Journal of Modern Applied Statistical Methods, 11(1), 167-178. doi: 10.22237/jmasm/1335845580.
Holland, P. W., & Thayer, D. T. (1988). Differential item performance and the mantel-haenszel procedure. In H. Wainer, and H. I. Brown (Eds.), Test validity (p. 129-145). Hillsdale, NJ: Lawrence Erlbaum Associates.
Holland, P. W., & Wainer, H. (1993). Differential item functioning. Hillsdale, NJ: Erlbaum.
Kelderman, H., & Macready, G. B. (1990). The use of loglinear models for assessing differential item functioning across manifest and latent examinee groups. Journal of Educational Measurement, 27(4), 307–327.
Kelecioğlu, H., Karabay, B. ve Karabay E. (2014). Seviye belirleme sınavının madde yanlılığı açısından incelenmesi. İlköğretim Online, 13(3), 934-953.
Kline, R. B. (2005). Methodology in the social sciences. Principles and practice of structural equation modeling (2nd ed.). Guilford Press.
Li, F., Cohen, A. S., Kim, S., & Cho, S. (2009). Model selection methods for mixture dichotomous IRT models. Applied Psychological Measurement, 33(5), 353–373. doi: 10.1177/0146621608326422.
Magis, D., Béland, S., Tuerlinckx, F., & De Boeck, P. (2015). A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods, 42(3), 847-862. doi:10.3758/BRM.42.3.847.
Maij-de Meij, A. M., Kelderman, H. & van der Flier, H. (2010). Improvement in detection of differential item functioning using a mixture item response theory model. Multivariate Behavioral Research, 45(6), 975-999. doi:10.1080/00273171.2010.533047.
Mellenbergh, G. J. (1989). Item bias and item response theory. International Journal of Educational Research, 13(2), 127-143. doi: 10.1016/0883-0355(89)90002-5.
MEB. (2015). TEOG 8. sınıf, 1. dönem merkezi ortak sınavı soruları. [Çevrim-içi: http://www.meb.gov.tr/25-26-kasim-2015-8- sinif-1-donem-merkezi-ortak-sinavin-soru-ve-cevap-anahtarlari/duyuru/9978], Erişim tarihi: 20.12.2017.
Ong, Y. M., Williams, J., & Lamprianou, I. (2013). Exploring differential bundle functioning in mathematics by gender: The effect of hierarchical modelling. International Journal of Research & Method in Education, 36(1), 82-100. doi: 10.1080/1743727X.2012.675263.
Osterlind, S. J., & Everson, H. T. (2009). Differential item functioning. Los Angeles: Sage.
Samuelsen, K. M. (2008). Examining differential item functioning from a latent mixture perspective. In G. R. Hancock & K. M.
Samuelsen (Eds.), Advances in latent variable mixture models (p. 177-197). Charlotte, NC: Information Age.
Satıcı, D. K. ve Özer-Özkan, Y. (2017). Temel eğitimden ortaöğretime geçiş sınavının (2014-kasım) cinsiyet açısından madde yanlılığının incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 254-274.
Tabachnick, B. G. & Fidell, L. S. (2001). Using multivariate statistics. Needham Heights, MA: Allyn & Bacon.
Tay, L., Newman, D. A., Vermunt, J. K. (2011). Using mixed-measurement item response theory with covariates (MM-IRT-C) to ascertain observed and unobserved measurement equivalence. Organizational Research Methods, 14, 147-176. doi:10.1177/1094428110366037.
Uyar, S., Kelecioglu, H., & Doğan, N. (2017). Comparing differential item functioning based on manifest groups and latent classes. Educational Sciences: Theory & Practice, 17(6), 1977–2000. doi: 10.12738/estp.2017.6.0526.
Türkan, A. (2014). 2012- Seviye belirleme sınavının rasch modeline göre cinsiyet değişkeni açısından yanlılığının incelenmesi. Yayınlanmamış yüksek lisans Tezi. Gaziantep Üniversitesi Eğitim Bilimleri Enstitüsü, Gaziantep.
von Davier, M., & Rost, J. (2017). Logistic mixture-distribution response models. In W. J. van der Linden (Ed.), Handbook of item response theory, volume one: Models (p. 393-406). Boca Raton: Chapman and Hall/CRC.
Wilson, M. & De Boeck, P. (2004). Descriptive and explanatory item response models. In P. De Boeck and M. Wilson (Eds.), Explanatory item response models: A generalized linear and nonlinear approach (pp. 43-74). New York: Springer-Verlag.
Yalçın, S., & Tavşancıl, E. (2015). The factors explaining the differential item functioning in the administration of TIMSS 2011 science test according to gender. Educational Sciences and Practice, 14(27), 1-21.
Yalçın, S. (2017). The effect of latent classes formed according to the affective characteristics of students on differential item functioning based on sex. Elementary Education Online, 16(4), 1917-1931.
Yalçın, S. (2018). Determining differential item functioning with the mixture item response theory. Eurasian Journal of Educational Research, 74, 187-206.
Yurdugül, H. ve Aşkar, P. (2004). Ortaöğretim kurumları öğrenci seçme ve yerleştirme sınavının cinsiyete göre madde yanlılığı açısından incelenmesi. Eğitim Bilimleri ve Uygulama Dergisi, 3(5), 3-20.