Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi

Bu çalışmada, Madde Tepki Kuramı’na göre ikili puanlanan ve bir, iki ve üç parametreli lojistik modellere uygun olarak üretilen maddelerde, çeşitli madde-uyum indekslerinin, çeşitli koşullardaki (örneklem büyüklüğü, test uzunluğu ve uyumsuzluk yüzdesi) I. tip hata ve güç oranlarının incelenmesi amaçlanmıştır. Çalışmada, indekslerin I. tip hata ve güç oranlarının belirlenmesi simülasyon çalışmasıyla yapılmıştır. Çalışmada, madde uyumu için geleneksel indekslerden χ², Q1 ve G2indeksleri ile alternatif indekslerden S-χ² indeksi kullanılmıştır. Çalışmada yer alan dört farklı madde-uyum indeksinin I. tip hata ve güç oranları, örneklem büyüklüğü (1000, 2000, 4000), test uzunluğu (20, 30, 40) ve uyumsuzluk yüzdesi (%0, %10, %30 ve %50) değişimlenerek incelenmiştir. Veriler R 3.3.2 yazılımı kullanılarak üretilmiştir ve “mirt” paketi kullanılarak analiz edilmiştir. Çalışmada üretilen ve analiz edilen model olmak üzere iki tür model kullanılmıştır. Üretilen modele uygun madde tepkileri ile analiz edilen modele uygun madde tepkileri için madde-uyum indekslerinin p değerleri ve serbestlik dereceleri hesaplanmıştır. Uyum indekslerinin I. tip hata ve güç oranları 0.05 anlamlılık düzeyine göre değerlendirilmiştir. Her uyum indeksinin tüm koşullardaki I. tip hata ve güç oranları hesaplanarak bu indeksler karşılaştırılmıştır. Çalışma sonucunda, tüm faktörlerde S-χ² indeksinin diğer indekslere göre daha düşük hataya sahip olduğu görülmüştür. 2000 ve üzeri örneklem büyüklüğünde ve 20 ve daha fazla maddeden oluşan testlerde S-χ² indeksinin diğer indekslerden daha düşük I. tip hata oranına ve daha yüksek güce sahip olduğu görülmüştür.

Anahtar Kelimeler:

Madde Tepki Kuramı, madde-uyum indeksi I.tip hata, güç, S-χ²

PDF

___

Ames, A. J. (2015). Bayesian model criticism: Prior sensitivity of the posterior predictive checks method (Doctoral dissertation). University of North Carolina.
Ames, A. J., & Penfield, D. R. (2015). An NCME instructional module on item-fit statistics for item response theory models. Educational Measurement: Issues and Practice, 34(3), 39–48.
Bock, R. D. (1972). Estimating item parameters and latent ability when responses are scored in two or more nominal categories. Psychometrika, 37, 29–51.
Chon, K. H., Lee, W. C., & Ansley, T. N. (2007). Assessing IRT model-data fit for mixed format tests. Center for Advanced Studies in Measurement and Assessment CASMA Research Report, No: 26.
Chon, K. H., Lee, W. C., & Dunbar, S. B. (2010). A comparison of item fit statistics for mixed IRT models. Journal of Educational Measurement, 47(3), 318–338.
DeMars, C. E. (2005). Type I error rates for PARSCALE’s fit index. Educational and Psychological Measurement, 65, 42–50.
Drasgow, F., Levine, M. V., Tsien, S., Williams, B., & Mead, A. D. (1995). Fitting polytomous item response theory models to multiple-choice tests. Applied Psychological Measurement, 19, 143-165.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
Glas, C. A. W., & Su´arez Falc´on, J. C. (2003). A comparison of item-fit statistics for the three parameter logistic model. Applied Psychological Measurement, 27, 87–106.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. New York: Springer Science+Business Media, LLC.
Hambleton, R., Swaminathan, H., & Rogers, J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage Publications.
Kang, T., & Chen, T. T. (2008). Performance of the generalized S-χ2 item fit index for polytomous IRT models. Journal of Educational Measurement, 45(4), 391-406.
Kang, T., & Chen, T. T. (2011). Performance of the generalized S-χ2 item fit index for the graded response model. Asia Pacific Educ. Rev., 12, 89–96.
LaHuis, D. M., Clark, P., & O'Brien, E. (2011). An examination of Item Response Theory item fit indices for the graded response model. Organizational Research Methods 14(1), 10-23.
McKinley, R. L., & Mills, C. N. (1985). A comparison of several goodness-of-fit statistics. Applied Psychological Measurement, 9, 49-57.
Mislevy, R. J., & Bock, R. D. (1990). BILOG-W. Item analysis and test scoring with binary logistic models. Moresville, IN: Scientific Software.
Orlando, M. (1997). Item fit in the context of Item Response Theory. (Doctoral dissertation, University of North Carolina, 1997). Dissertation Abstracts International, 58/04-B, 2175.
Orlando, M., & Thissen, D. (2000). Likelihood-based item-fit indices for dichotomous Item Response Theory models. Applied Psychological Measurement, 24(1), 50–64.
Orlando, M., & Thissen, D. (2003). Further investigation of the performance of S-χ2: An item fit index for use with dichotomous Item Response Theory models. Applied Psychological Measurement, 27, 289-298.
Reise, S. P. (1990). A comparison of item-and person-fit methods of assessing model-data fit in IRT. Applied Pyschological Measurement, 14(2), 127-137.
Stone, C. A. (2000). Monte Carlo based null distribution for an alternative goodness-of-fit test statistic in IRT models. Journal of Educational Measurement, 37, 58-75.
Stone, C. A., & Zhang, B. (2003). Assessing goodness of fit of Item Response Theory models: A comparison of traditional and alternative procedures. Journal of Educational Measurement, 40, 331–352.
Tay, L., Ali, U. S., Drasgow, F., & Williams, B. (2011). Fitting IRT models to dichotomous and polytomous data: Assessing the relative model–data fit of ideal point and dominance models. Applied Psychological Measurement, 35(4), 280–295.
Thissen, D., Pommerich, M., Billeaud, K., & Williams, V. (1995). Item Response Theory for scores on tests including polytomous items with ordered responses. Applied Psychological Measurement, 19, 39–49.
von Schrader, S., Ansley, T. N., & Kim, S. (2004). Examination of item fit indices for polytomous item response models. Paper presented at the meeting of the National Council on Measurement in Education, San Diego, CA.
Wells, C. S., & Bolt, D. M. (2008). Investigation of a nonparametric procedure for assessing goodness-of-fit in Item Response Theory. Applied Measurement in Education, 21(1), 22-40.
Wells, C. S., & Hambleton, R. K. (2016). Model fit with residual analyses. In W. J. van der Linden (Ed.) Handbook of item response theory. Volume two, Statistical tools (pp. 395-413). NewYork: CRC Press. Taylor ve Francis Group.
Wright, B., & Panchapakesan, N. A. (1969). A procedure for sample free item analysis. Educational and Psychological Measurement, 29, 23–48.
Yen, W. M. (1981). Using simulation results to choose a latent trait model. Applied Psychological Measurement, 5, 245–262.