Nitelik Sayısının Madde Seçme Algoritmalarının Performansı Üzerindeki Etkisi

Bilişsel tanı modelleri (BTM) ve bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulamaları hemeğitim alanında hem de psikoloji gibi diğer alanlarda hızla artmaktadır. Günümüze kadar BOBUTuygulamaları üzerine yapılan araştırmaların çoğunluğu, genellikle özetleyici bir değerlendirme sağlayan maddetepki kuramına dayalı modeller ile gerçekleştirilmiştir. Oysa BTM gibi bireylerin uzmanlaştığı ya da yetersizkaldığı konularda daha ayrıntılı sonuç sağlayan biçimlendirici değerlendirme teknikleri son zamanlardagiderek önem kazanmıştır. BTM’nin BOBUT (BiTBOBUT) uygulamalarındaki kullanımı bireylerin yetenekdüzeyleri hakkında daha ayrıntılı ve etkin bir değerlendirme sağlamada etkili bir yöntemdir. Bu çalışmanınamacı, BiTBOBUT uygulamalarındaki nitelik sayısının madde seçme algoritmalarının performanslarıüzerindeki etkisini araştırmaktır. Simülasyon çalışmasında farklı nitelik sayısı ve BTM’nin, madde seçmealgoritmalarının performansları üzerindeki etkisi, ortalama test uzunlukları gibi betimsel istatistik değerlerinebakılarak araştırılmıştır. Elde edilen sonuçlara göre farklı nitelik sayısının ortalama test uzunlukları üzerindeönemli değişmelere sebep olduğu fakat farklı BTM kullanımının algoritmalar üzerinde test uzunluklarınaherhangi bir etkisinin olmadığı gözlemlenmiştir.

The Impact of Attribute Size on the Performance of Item Selection Algorithms

The use of cognitive diagnosis models (CDMs) and computerized adaptive testing (CAT) has been increasing in both education and other fields such as psychology. To date, most of the research in CAT has been done using item response theory models which provide summative scores. However, formative assessment techniques (e.g., CDMs) that provide more detailed information about individuals’ strengths and weaknesses have become popular in the recent years. The use of cognitive diagnosis computerized adaptive testing (CDCAT) can produce more diagnostic information with an efficient testing design. This paper aims to investigate the impact of attribute size on the performance of item selection indices in terms of average test lengths. The result of this study showed that increasing the attribute size resulted in longer average test lengths; however, using different CDMs did not change the average test lengths.

PDF

___

Başokçu, T. O. (2014). Öğrenci yeteneğinin kestiriminde bilişsel tanı modelleri ve uygulamaları. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi. http://www.efdergi.ibu.edu.tr/index.php/efdergi/article/view/1341 adresinden erişildi.
Cheng, Y. (2009). When cognitive diagnosis meets computerized adaptive testing: CD-CAT. Psychometrika, 74, 619-632.
de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34, 115-130.
de la Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76, 179-199.
DiBello, L. V., & Stout, W. (2007). Guest editors introduction and overview: IRT-based cognitive diagnostic models and related methods. Journal of Educational Measurement, 44, 285-291.
Doornik, J. A. (2011). Object-oriented matrix programming using Ox (Versiyon 6.21) [Computer software]. London, England: Timberlake Consultants Press.
Haertel, E. H. (1989). Using restricted latent class models to map the skill structure of achievement items. Journal of Educational Measurement, 26, 333-352.
Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables. Psychometrika, 74, 191-210.
Hsu, C.-L., Wang, W.-C., & Chen, S.-Y. (2013). Variable-length computerized adaptive testing based on cognitive diagnosis models. Applied Psychological Measurement, 37, 563-582.
Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258-272.
Kaplan, M., de la Torre, J., & Barrada, J. R. (2015). New item selection methods for cognitive diagnosis computerized adaptive testing. Applied Psychological Measurement, 39, 167-188.
Meijer, R. R., & Nering, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied Psychological Measurement, 23, 187-194.
Tatsuoka, K. (1983). Rule space: An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20, 345-354.
Templin, J., & Henson, R. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11, 287-305.
Thissen, D., & Mislevy, R. J. (2000). Testing algorithms. In H. Wainer et al. (Eds.). Computerized adaptive testing: A primer (ss. 101-133). Hillsdale, NJ: Lawrence Erlbaum Associates.
van der Linden, W. J., & Glas, C. A. W. (Eds.). (2000). Computerized adaptive testing: Theory and practice. Boston, MA: Kluwer.
von Davier, M. (2008). A general diagnostic model applied to language testing data. The British Journal of Mathematical and Statistical Psychology, 61, 287-307.
Xu, X., Chang, H.-H., & Douglas, J. (2003, Nisan). Computerized adaptive testing strategies for cognitive diagnosis. Paper presented at the annual meeting of National Council on Measurement in Education, Montreal, Quebec, Canada.