Grup Başarısına Göre Madde ve Kişi Parametreleri Arasındaki İlişkinin İncelenmesi

Bu çalışmada KTK ve MTK’ye dayalı olarak madde parametrelerinin grubun özelliğine (başarılıve başarısız olma durumuna) ne düzeyde bağlı olduğunu belirlemek amaçlanmıştır. Aynızamanda KTK ve MTK’dan elde edilen bulgular arasındaki ilişkiler de incelenmiştir. Türkiye’debir devlet üniversitesinin eğitim fakültesinin farklı 22 bölümünde öğrenim görmekte olan toplam1916 öğrenci bu araştırmanın çalışma grubunu oluşturmaktadır. Farklı özelliklerdeki verisetlerinden elde edilen madde parametreleri arasındaki ilişkiler ve KTK ve MTK’den elde edilenmadde parametreleri arasındaki ilişkiler ayrı ayrı incelenmiştir. Ayrıca, KTK için toplam puanlarile MTK için yetenek parametreleri arasındaki ilişkiler de farklı veri setleri için ayrı ayrıincelenmiştir. Genel olarak KTK’dan elde edilen nokta çift serili korelasyon katsayısı ile 2PLmodelden elde edilen a parametresi arasındaki ilişkiler orta düzeyde ve anlamlıdır. Diğer ilişkikatsayılarının ise düşük düzeyde olduğu ya da ilişkinin olmadığı durumların ortaya çıktığıbelirlenmiştir. Ölçme kuramlarının farklı dağılım özellikleri ve nitelikleri bulunan verisetlerindeki bireylerin yeteneklerini benzer şekilde kestirdiği tespit edilmiştir. Farklı verisetlerinden elde edilen güçlük parametreleri arasında genellikle yüksek ilişkiler belirlenmiştir.Güçlük indeksleri arasındaki ilişkiler KTK’ya dayalı gerçekleştirilen kestirimlerde MTK’yadayalı kestirimlere göre daha yüksek hesaplanmıştır. Bu durum, MTK kestirimlerinin gruba bağlıdeğişim gösterdiği anlamına gelebilmektedir. Benzer şekilde madde ayırt edicilik indekslerininhem KTK hem de MTK’ya dayalı modellerle hesaplamaları arasında anlamlı farklılıklar olduğutespit edilmiştir.

The Effect of Group Properties to Item and Person Parameters

The aim of this study is to determine the extent to which item parameters estimated via CTT and IRT depend on group properties (being mater or non-master). Besides, the relationship between findings obtained from CTT and IRT is evaluated. The study group of this study consists of 1916 undergraduates who study at different departments (22) in educational faculty in a state university of Turkey. The relationship between item parameters obtained from datasets having different properties and the relationships between item parameters obtained via CTT and IRT have been investigated separately. Besides, the relationships between total scores for CTT and ability parameters for IRT have been examined for different datasets. The relationship between point biserial correlation obtained from CTT and a parameter obtained from 2PL is moderate and significant. It has been determined that the other relationship coefficients are low or nonsignificant. It has been determined that measurement theories estimate the ability of individuals in datasets having different distribution and properties similar. The high relationships have generally been obtained among difficulty parameters estimated from different datasets. This situation shows that the estimates obtained for CTT are group-dependent and the estimates for IRT are group-independent. Similarly, it has been observed that there is a significant difference between item discrimination indexes estimated for CTT and IRT.

PDF

___

Adedoyin, O. O., Nenty, H. J., & Chilisa, B. (2008). Investigating the invariance of item difficulty parameter estimates based on CTT and IRT. Educational Research and Reviews, 3(3), 83.
Awopeju, O. A., & Afolabi, E. R. I. (2016). Comparative analysis of classical test theory and item response theory based item parameter estimates of senior school certificate mathematics examination. European Scientific Journal, ESJ, 12(28).
Çıkrıkçı-Demirtaşlı, N. (2002). A study of raven standard progressıve matrıces test’s ıtem measures under classıc and ıtem response models: an empırıcal comparıson1. Ankara University, Journal of Faculty of Educational Sciences, 35(1-2).
DeMars, C. (2001). Group differences based on IRT scores: Does the model matter?. Educational and Psychological Measurement, 61(1), 60-70.
Fan, X. (1998). Item response theory and classical test theory: An empirical comparison of their item/person statistics. Educational and psychological measurement, 58(3), 357-381.
Gelbal, S. (1994). pMadde güçlük indeksi ile rasch modelinin b parametresi ve bunlara dayalı yetenek ölçüleri üzerine bir karşılaştırma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 10(10).
Hambleton, R. K., & Jones, R. W. (2012). Comparison of classical test theory and item response theory and their applications to test development, Instructional Topics in Educational Measurement Series 16.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory (Vol. 2). Sage.
Harris, D. (1989). Comparison of 1‐, 2‐, and 3‐Parameter IRT Models. Educational Measurement: Issues and Practice, 8(1), 35-41.
Hernandez, R. (2009). Comparison of the item discrimination and item difficulty of the quick-mental aptitude test using CTT and IRT methods. The International Journal of Educational and Psychological Assessment, 1(1), 12-18.
Hwang, D. Y. (2002). Classical Test Theory and Item Response Theory: Analytical and Empirical Comparisons. Paper presented at the Annual Meeting of the Southwest Educational Research Association, Austin, TX.
Lawson, S. (1991). One parameter latent trait measurement: Do the results justify the effort. Advances in educational research: Substantive findings, methodological developments, 1, 159-168.
Macdonald, P., & Paunonen, S. V. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and psychological measurement, 62(6), 921-943.
Progar, Š., Sočan, G., & Peč, M. (2008). An empirical comparison of item response theory and classical test theory. Horizons of Psychology, 17(3), 5-24.
Roberts, J. S., Donoghue, J. R., & Laughlin, J. E. (2002). Characteristics of MML/EAP parameter estimates in the generalized graded unfolding model. Applied Psychological Measurement, 26(2), 192-207.
Sass, D. A., Schmitt, T. A., & Walker, C. M. (2008). Estimating non-normal latent trait distributions within item response theory using true and estimated item parameters. Applied Measurement in Education, 21(1), 65-88.
Sen, S., Cohen, A. S., & Kim, S. H. (2016). The impact of non-normality on extraction of spurious latent classes in mixture IRT models. Applied Psychological Measurement, 40(2), 98-113.
Skaggs, G., & Lissitz, R. W. (1988). Effect of examinee ability on test equating invariance. Applied Psychological Measurement, 12(1), 69-82.
Stage, C. (1999). A Comparison Between Item Analysis Based on Item Response Theory and on Classical Test Theory: A Study of the SweSAT Subtest WORD. Department of educational measurement, Umeå univ..
Xu, X., & Jia, Y. (2011). The sensitivity of parameter estimates to the latent ability distribution. ETS Research Report Series, 2011(2).