The Classification of Students Based on Mathematics Achievement Test in TIMSS 2015 Turkey Sample by Cognitive Diagnosis Models

The aim of this study is to examine the classification of students in accordance with different attributes on the basis of mathematics test data in TIMSS 2015 Turkey sample. For this purpose, DINA and DINO models were used from Cognitive Diagnosis Models. Four different Q-Matrices were determined as the levels of the content domain (numbers, data display, geometric shapes and measures), the levels of the cognitive domain (knowing, applying, reasoning), the levels of both the content and the cognitive domain, and the levels obtained through Principal Components Analysis as the attributes dimension in the Q-Matrix in which matching of attribute and item is carried out. The accuracy and consistency of the classifications acquired with these four different QMatrices were examined as an evaluation criterion for which classification was performed better. The study group of the research consists of 463 fourth-grade students who have taken the first booklet within TIMSS 2015 Turkey sample. The data used in the study were obtained from 23 items selected from 25 items in the TIMSS 2015 4th grade mathematics booklet-1. According to the findings of the research, the Q-Matrix in which content domain levels are used as the attribute dimension, is the matrix that classified the students best. In conclusion, the classification was made by using this matrix according to the DINA Model that conducts the best classification within the scope of the research and its results were discussed.

Türkiye Örnekleminde Matematik Başarı Testine Dayalı Olarak Öğrencilerin Bilişsel Tanı Modelleri İle Sınıflandırılması

Bu çalışmanın amacı TIMSS 2015 Türkiye örnekleminde matematik testi verilerine dayalı olarak öğrencilerin farklı niteliklere göre sınıflandırılmasını incelemektedir. Bu amaç için Bilişsel Tanı Modellerinden DINA ve DINO Modellerinden yararlanılmıştır. Nitelik ile madde eşleştirmesinin yapıldığı Q-Matrisinde nitelik boyutu olarak içerik alanına ait düzeyler (sayılar, veri gösterimi, geometrik şekiller ve ölçümler) , bilişsel alana ait düzeyler (bilme, uygulama, akıl yürütme), hem içerik hem de bilişsel alana ait düzeyler ve Temel Bileşenler Analizi yoluyla elde edilen düzeyler olmak üzere dört farklı Q- Matrisi belirlenmiştir. Hangi sınıflamanın daha iyi yapıldığına ilişkin değerlendirme kriteri olarak bu dört farklı Q-Matrisiyle elde edilen sınıflamaların doğruluğu ve tutarlılığı incelenmiştir. Araştırmanın çalışma grubunu TIMSS 2015 Türkiye örneklemi içinde birinci kitapçığı alan 463 dördüncü sınıf öğrencisi oluşturmaktadır. Araştırmada kullanılan veriler TIMSS 2015 4. Sınıf 1 numaralı matematik kitapçığındaki 25 sorudan seçilen 23 maddeden elde edilmiştir. Araştırmanın bulgularına göre nitelik boyutu olarak İçerik Alanı düzeylerinin kullanıldığı Q-Matrisi öğrencileri en iyi sınıflayan matris olmuştur. Son olarak bu matris kullanılarak, araştırma kapsamında en iyi sınıflama yapan DINA Modele göre sınıflandırma yapılmış ve sonuçlar tartışılmıştır.

PDF

___

Ardıç, E., Ö. (2020). Bilişsel tanı ve çok boyutlu madde tepki modellerinin sınıflama doğruluğu ve parametrelerinin karşılaştırılması.(Yayınlanmamış yüksek lisans tezi). Hacettepe Üniversitesi, Ankara.

Arıcan, M., (2019). A diagnostic assessment to middle school students’ proportional reasoning. Turkish Journal of Education, 8(4), 237-257. DOI: 10.19128/turje.522839

Başokçu, T. O. (2015). The Cognitive Diagnostic Models for Estimating Students’ Ability and Their Applications. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 14 (1), 1- 32. Retrieved from http://dergipark.gov.tr/aibuefd/issue/1502/18183

Baykul, Y. (1992). Eğitim sisteminde değerlendirme. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 7(7)

Bloom, B. S. (1968). Learning for Mastery. Instruction and Curriculum. Regional Education Laboratory for the Carolinas and Virginia, Topical Papers and Reprints, Number 1. Evaluation comment, 1(2), n2.

Büyüköztürk, Ş., Çakan, M., Tan, Ş., ve Atar, H. Y. (2014). TIMSS 2011 Ulusal Matematik ve Fen Raporu 4. Sınıflar. Ankara: Milli Eğitim Bakanlığı Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü.

EARGED (2003). TIMSS 1999 üçüncü uluslararası matematik ve fen bilgisi çalışması. Ankara: Milli Eğitim Bakanlığı Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı.

Frey, B. B. (Ed.). (2018). The SAGE Encyclopedia of Educational Research, Measurement, and Evaluation. SAGE Publications.

George, A. C., & Robitzsch, A. (2015) CognitiveDiagnosisModels in R: A Didactic. The Quantitative Methods for Psychology, 11(3), 189-205.

George. A. C., Robitzsch, A., Kiefer, T., Groß, J., & Ünlü, A. (2016). The R Package CDM for Cognitive Diagnosis Models. Journal of Statistical Software, 74(2), 1–24.

Henson, R., & Douglas, J. (2005). Test construction for cognitive diagnosis. Applied Psychological Measurement, 29(4), 262-277.

International Association for the Evaluation of Educational Achievement – IEA. (2011). Trends in International Mathematics and Science Study 2011. http://www.iea.nl/timss-2011 adresinden 17 Haziran 2018 tarihinde erişilmiştir.

International Association for the Evaluation of Educational Achievement – IEA. (2015). TIMSS 2015 Assessment Frameworks. Publisher: TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.

Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258-272.

Karasar, N. (2005). Bilimsel araştırma yöntemi. Ankara: Nobel.

Koyuncu, M., S. (2020). Bilişsel tanı modellerinde yapısal eşitlik modeli ile Q-matris doğruluğunun belirlenmesi. (Yayınlanmamış yüksek lisans tezi). Gazi Üniversitesi, Ankara.

Kunina‐Habenicht, O., Rupp, A. A., & Wilhelm, O. (2012). The impact of model misspecification on parameter estimation and item‐fit assessment in log‐linear diagnostic classification models. Journal of Educational Measurement, 49(1), 59-81.

Leighton, J., & Gierl, M. (Eds.). (2007). Cognitive diagnostic assessment for education: Theory and applications. Cambridge University Press.

Liu, Y., Douglas, J. A., & Henson, R. A. (2009). Testing person fit in cognitive diagnosis. Applied Psychological Measurement, 33(8), 579.

Ma, L. (2014). Validation of the item-attribute matrix in TIMSS–Mathematics using multiple regression and the LSDM (Order No. 3616238). Available from ProQuest Dissertations & Theses Global. (1525999295). Retrieved from https://search.proquest.com/docview/1525999295?accountid=11054

Mullis, I.V.S., Martin, M.O., Ruddock, G.J., O’Sullivan, C.Y. ve Preuschoff, C. (2009). TIMSS 2011 assessment framework. MA: TIMSS & PIRLS International Study Center, Boston College.

R Core Team. (2015). R: a language and environment for statistical computing. ISBN 3- 900051-07-0. R Foundation for Statistical Computing. Vienna, Austria. http://www.Rproject.org sitesinden erişildi.

Rupp, A. A., & Templin, J. L. (2008). Unique characteristics of diagnostic classification models: A comprehensive review of the current state-of-the-art. Measurement, 6(4), 219- 262.

Rupp, A. A., Templin, J., & Henson, R. A. (2010). Diagnostic measurement: Theory, methods, and applications. New York: The Guilford Press.

Tekin, H. (2007). Eğitimde Ölçme ve Değerlendirme. (Gözden Geçirilmiş 18. Baskı) Yargı Yayınevi.

Templin, J., & Bradshaw, L. (2014). Hierarchical diagnostic classification models: A family of models for estimating and testing attribute hierarchies. Psychometrika, 79(2), 317-339.

Templin, J., & Henson, R. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11, 287–305.

Umay, A. (2003). Matematiksel muhakeme yeteneği. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 24(24).

Tatlıdil, H. (1996). Uygulamalı Çok Değişkenli İstatistiksel Analiz, Cem Web Ofset Ltd. Şti, Ankara.

Yıldız, İ., & Uyanık, N. (2004). Günümüz matematik öğretimi ve yakın çevre etkileri. Kastamonu Eğitim Dergisi, 12(2), 437-442.

Yi, Y. S. (2017). In search of optimal cognitive diagnostic model (s) for ESL grammar test data. Applied Measurement in Education, 30(2), 82-101.

Zhang, W. (2006). Detecting Differential Item Functioning Using the DINA Model. Yayımlanmamış doktora tezi. The University of North Carolina at Greensboro.