Bilişsel Tanı Modellerinde Parametre Kestirimini ve Sınıflama

Bu çalışmanın amacı, Bilişsel Tanı Modelleri'nde madde parametre kestirimini, madde uyumunu ve sınıflama tutarlılığını etkileyen faktörlerin neler olduğunun incelenmesidir. Bu amaç doğrultusunda, tamamlayıcı olmayan model (DINA) kullanılarak çeşitli faktörlere (örneklem büyüklüğü, özelikler arası korelasyon, özelik sayısı, madde sayısı, s ve g parametre düzeyleri) göre veri üretilmiştir. Üretilen veri, DINA analiz modeline göre analiz edilmiş, R 3.0 programı ve CDM paketi kullanılmış ve her bir durum için 100 yineleme (replikasyon) yapılmıştır. Parametre kestirimi, madde uyumu ve sınıflama tutarlılığı için, elde edilen çıktı dosyaları, değişimleme ölçütlerine göre hem temel etkiler hem de ortak etkiler bazında düzenlenmiştir. g parametre kestirimi için elde edilen "Mutlak Ortalama Yanlılık (MOY)" ortalamalarına, örneklem büyüklüğünün, madde sayısının ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir. s parametre kestiriminden elde edilen MOY ortalamalarına ise, örneklem büyüklüğünün, özelikler arası korelasyon düzeyinin ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir. Madde uyumu için elde edilen RMSEA ortalama değerlerine, örneklem büyüklüğünün, özelik sayısının, madde sayısının ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir. Sınıflama tutarlılığı için elde edilen "Doğru Sınıflama Oranları (DSO) sonuçları incelendiğinde ise, özelik sayısının, madde sayısının ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir

Factors Affecting the Item Parameter Estimation and Classification Accuracy of the Cognitive Diagnostic Models

The purpose of this study is to investigate factors affecting the item parameter estimation, item fit and classification accuracy of the Cognitive Diagnostic Models (CDM).For this purpose, the data is generated by using noncompensatory model (DINA) according to various factors (sample size, correlation between attributes, the number of attributes, the number of item, s and g parameters levels). The simulated data were analyzed by using DINA models. Data simulation and analyses were conducted by using R 3.0 with CDM package. The output files were organized for parameter estimation, item fit and classification accuracy for both main and interaction effects. By using DINA analysis model obtained from mean values of "Absolute Mean Bias" (MOY) to estimate g parameter, sample size, number of items and levels of g and s parameters of significant effect were observed. s parameter estimation obtained from the mean values MOY, sample size, level of the correlation between attributes and level of the s and g parameters of a significant effect were observed. By using DINA analysis model obtained from mean values of RMSEA, sample size, number of item, number of attribute and levels of g and s parameters of significant effect was observed. By using DINA analysis model obtained from mean values of "Correct Classification Rate (CCR)", number of item, number of attribute and levels of g and s parameters of significant effect was observed

PDF

___

Ackerman, T. (1996). Graphical representation of multidimensional item response theory analyses. Applied Psychological Measurement, 20, 311-329.
Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: ÖSYM Yayınları.
Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. USA: Rinehart and Winston Inc.
de la Torre, J. (2008). An empirically-based method of Q-matrix validation for the DINA model: Development and applications. Journal of Educational Measurement, 45, 343-362.
de la Torre, J. (2009). A cognitive diagnosis model for cognitively-based multiple-choice options. Applied Psychological Measurement, 33, 163-183.
de la Torre, J., Hong, Y. & Deng, W. (2010). Factors affecting the item parameter estimation and classification accuracy of the DINA model. Applied Psychological Measurement, 47, 227-249.
DiBello, L. V., Stout, W. F., & Roussos, L. A. (1995). Unified cognitive/psychometric diagnostic assessment likelihood-based classification techniques. In P.D. Nichols, S.
Embretson, S. E. & Reise, S. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates.
Gelbal, S. (1994). p madde güçlük indeksi ile rasch modelinin b parametresi ve bunlara dayalı yetenek ölçüleri üzerine bir karşılaştırma. Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
Gulliksen, H. (1950). Theory of mental tests. New York: Wiley.
Hambleton, R. K. & Swaminathan, H. (1985). Item response theory: principles and applications. Boston: Academic Puslishers Group.
Hambleton, R. K. & Jones, R. W. (1993). Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement, 12, 38-47.
Haertel, E.H. (1984). An application of latent class models to assessment data. Applied Psychological Measurement 8, 333-346.
Haertel, E. H. (1989). Using restricted latent class models to map the skill structure of achievement items. Journal of Educational Measurement, 26, 333-352.
Haertel, E.H. (1990). Continuous and discrete latent structure models of item response data. Psychometrika 55, 477- 494.
Henson, R. & Douglas, J. (2005) Test construction for cognitive diagnosis, Applied Psychological Measurement, 29(4): 262-277.
Henson, R. A., Roussos, L., Douglas, J., & He, X. (2008). Cognitive diagnostic attribute level discrimination indices. Applied Psychological Measurement, 32, 275-288.
Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining a family of cognitive diagnosis models using log-linear models with latent variables. Psychometrika, 74, 191 210.
Huff, K. & Goodman, D. P. (2007). The demand for cognitive diagnostic assessment. J. P. Leighton ve M. J. Gierl (Eds.), Cognitive assessment for education: Theory and applications (19-60). New York: Cambridge University Press.
Huyn, S. K. (2011). dıagnosıng examınees' attrıbutes-mastery usıng the bayesıan ınference for bınomıal proportıon: a new method for cognıtıve dıagnostıc assessment. Yayınlanmamış doktora tezi, Georgia Institute of Technology.
Junker, B. (1999). Some statistical models and computational methods that may be useful for cognitively relevant assessment. Prepared for the Committee on the Foundations of Assessment, National Research Council, November 30,1999.
Junker, B. W. & Sijtsma, K. (2001). Cognitive Assessment Models with few Assumptions, and Connections with Nonparametric item Response Theory. Applied Psychological Measurement, 25(3), 258-272.
Lazarsfeld P. F. & Henry N. W. (1968). Latent Structure Analysis. Boston: Houghton Mifflin.
Lord, F. M. & Novick M. R. (1968). Statistical theories of mental test scores. New York: Addison- Wesley Publishing Company.
Lord, F. M. (1980). Aplications of item response theory to practical testing problems. Hillsdale, New Jersey: Lawrence Erlbaum Associates.
Reckase, M. D. (2009). Multidimensional item response theory. New York: Springer Dordrecht Heidelberg.
Rupp, A. & Templin, J. (2008). Unique characteristics of diagnostic models: a review of the current state-of-the-art. Measurement, 6, 219-262.
Rupp, A. A., Templin, J., & Henson, R. J. (2010). Diagnostic measurement: Theory, methods, and applications. New York: Guilford Press
Sünbül, Ö. (2011). Çeşitli boyutluluk özelliklrine sahip yapılarda, madde parametrelerinin değişmezliğinin klasik test teorisi, tek boyutlu madde tepki kuramı ve çok boyutlu madde tepki kuramı çerçevesinde incelenmesi. Yayınlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
Tatsuoka, K. (1985). A probabilistic model for diagnosing misconceptions in the pattern classification approach. Journal of Educational Statistics, 12, 55-73.
Vermunt, J. K. & Madigson, J. (2004). Local Indepence. In A. B. M.S. Lewis Beck, The Sage Encyclopedia of Social Sciences Research Methods (ss. 732-733). Thousand Oaks: Sage Publications.
Wang, Y. C. (2009). Factor Analytic Models and Cognitive Diagnostic Models: How Comparable Are They?--A Comparison of R-RUM and Compensatory MIRT Model with Respect to Cognitive Feedback. Yayınlanmamış doktora tezi, The University of North Carolina, Greensboro.
von Davier, M. (2005). A general diagnostic model applied to language testing data. ETS Araştırma Raporu: RR-05- 16, Educational Testing Service, Princeton, NJ.