Uluslararası Bilgisayar ve Bilgi Teknolojileri Okuryazarlığı Testinin Madde-Birey Dağılımı ve Değişen Madde Fonksiyonu Yönünden İncelenmesi

2013 yılında yapılan Uluslararası Bilgisayar ve Bilgi Teknolojileri Okuryazarlığı Çalışması’nda (ICILS) sekizinci sınıf öğrencilerinin bilgisayar ve bilgi okuryazarlığı ulusal ve uluslararası düzeyde incelenmiştir. ICILS’in verilerinin toplanmasında öğrenciler için uluslararası bilgisayar ve bilgi teknolojileri testi, öğrenci anketi, öğretmen anketi, okul yöneticisi anketi, koordinatör anketi ve ulusal eğitim sistemlerine ilişkin ulusal anket kullanılmıştır. Bu çalışmanın amacı uluslararası öğrenciler için bilgisayar ve bilgi teknolojileri okuryazarlığı testindeki modül çiftlerinin ölçtüğü yetenek düzeyleri ile Türkiye ve Çek Cumhuriyeti öğrencilerinin yetenek düzeylerinin dağılımlarını karşılaştırmak ve modüllerdeki maddeleri değişen madde fonksiyonu (DMF) bakımından incelemektir. Araştırmanın çalışma grubunu Çek Cumhuriyeti ve Türkiye’den ICILS’e katılan toplam 5606 sekizinci sınıf öğrencisi oluşturmaktadır. Değişen madde fonksiyonu genelleştirilmiş Mantel-Haenszel ve standartlaştırma yöntemleri ile incelenmiştir. Araştırma sonucunda modül çiftlerinin tüm yetenek düzeylerine uygun madde bulundurma konusunda sınırlılıklarının olduğu belirlenmiştir. Ayrıca modüllerin hepsinde farklı düzeylerde DMF gösteren maddeye rastlanılmıştır. DMF gösteren maddelerin genellikle Çek Cumhuriyeti örneklemine avantaj sağladığı tespit edilmiştir.

Item-Person Parameters Distribution and Differential Item Functioning Analysis of International Computer and Information Literacy Test

The aim of International Computer and Information Literacy Study (2013) is to investigate difference in computer and information literacy (CIL) ability of young students between participant countries, factors that affect CIL and roles of education systems and schools in development of CIL. The data of ICILS are gathered using international computer and information technologies test for students, teacher and principal questionnaires. The purpose of the current study is to compare the distribution of difficulty parameters of CIL test items in module pairs with ability parameter of students and examine items in terms of differential item function (DIF). The research is based on the data of 5606 eight grade students from Turkey and Czech Republic. In this research generalized Mantel-Haenszel and standardization methods are conducted to detect DIF. Almost all module pairs show some insufficiency in containing adequate items that measure low ability levels in Turkey sample. Many items in two modules show significant DIF. In general items that show DIF provide advantage to Check Republic.

PDF

___

Akkoyunlu, B. ve Kurbanoğlu, S. (2003). Öğretmen adaylarının bilgi okuryazarlığı ve bilgisayar öz-yeterlik algıları üzerine bir çalışma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 24 (24).
Beller, M. (2013). Technologies in large-scale assessments: New directions, challenges, and opportunities (pp. 25-45). Netherlands: Springer.
Bolt, D. M. (2002). A Monte Carlo comparison of parametric and nonparametric polytomous DIF detection methods. Applied Measurement in Education, 15, 113-141.
Bond, T. G., ve Fox, C. M. (2007). Applying the rasch model: Fundamental measurement in the human sciences (2nd ed.).Hillsdale, NJ: Lawrence Erlbaum Associates.
De Bortoli, L., Buckley, S., Underwood, C., O’Grady, E., ve Gebhardt, E. (2014). ICILS 2013: Australian students’ readiness for study, work and life in the digital age. Melbourne: ACER.
Dorans, N. J. ve Kulick, E. (1986). Demonstrating the utility of the standardization approach to assessing unexpected differential item performance on the Scholastic Aptitude Test. Journal of Educational Measurement, 23, 355–368.
Fraillon, J., Schulz, W., Friedman, T., Ainley, J., ve Gebhardt, E. (2015). International computer and information literacy study: ICILS 2013 technical report. Amsterdam: IEA Secretariat.
Fraillon, J., Ainley, J., ve Schulz, W. (2013). International computer and information literacy study: Assessment framework. Amsterdam: International Association for the Evaluation of Educational Achievement (IEA).
Fraillon, J., Ainley, J., Gebhardt, E., ve Schulz, W. (2013). Measuring computer and information literacy across countries. 5th IEA International Research Conference, Singapore.
Irribarra, D. T. ve Freund R. (2016) WrightMap: IRT item-Person map with "ConQuest" integration. Erişim adresi: https://CRAN.R-project.org/package=WrightMap
Labrecque, M. ve Dionne, J. (2015). ICILS 2013, preparing for life in a digital age: Results for Ontario and Mewfoundland and Labrador. Toronto, Ontario, Ottawa, Ontario: Council of Ministers of Education, Canada; Canadian Electronic Library.
Magis, D., Beland, S., Tuerlinckx, F., ve Boeck, P. D. (2010). A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods, 42, 847–862.
Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174.
MEB, (2014). Faaliyet raporu. 15 Mayıs 2015 tarihinde http://sgb.meb.gov.tr/meb_iys_dosyalar/2015_03/05123201_2014darefaalyetraporu.pdf adresinden erişildi.
Nandakumar, R. (1993). A fortran 77 program for detecting differential item functioning through the mantel-haenszel statistic. Educational and Psychological Measurement, 53, 679–684.
Oon, P. T., Law, N., Soojin, K., Kim, S., ve Tse, S. K. (2013). Psychometric assessment of ICILS test items on Hong Kong and Korean students. Evaluation, 17(6), 419-446.
Oon, P. T., ve Subramaniam, R. (2013). Singapore school students’ views about physics according to whether they intend to choose this subject as a tertiary field of study: A Rasch analysis. International Journal of Science Education, 35(1), 86 – 118.
Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen, Denmark: Nielsen & Lydiche.
Robitzsch, A., Kiefer, T., ve Wu, M. (2018). TAM: Test analysis modules. Erişim adresi: https://CRAN.R-project.org/package=TAM
Wang, W.-C. ve Su, Y.-H. (2016). Factors influencing the mantel and generalized Mantel-Haenszel methods for the assessment of differential item functioning in polytomous items. Applied Psychological Measurement, 28(6), 450–480. https://doi.org/10.1177/0146621604269792
Zumbo, B. D. (1999). A Handbook on the theory and methods of differential ıtem functioning (DIF): Logistic regression modeling as a unitary framework for binary and likert-type (ordinal) item scores. Ottawa, ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.
Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. In P. W. Holland, and H. Wainer (Eds.), Differential item functioning (pp. 337-347). Hillsdale, NJ: Lawrence Erlb.