Burcu HASANÇEBİ, Zafer KÜÇÜK, Yüksel TERZİ

Olasılık Okuryazarlık Testinin Madde Tepki Kuramına Dayalı Yöntemler ile Değişen Madde Fonksiyonu Açısından İncelenmesi

Test geliştirme sürecinin birçok adımı vardır. Bu süreçte en önemli adım, testin geçerliliğini vegüvenilirliğini belirlemektir. Madde yanlılığını belirlemek ise, testin geçerliliği ve güvenilirliği için önemlibir kavramdır. Bir maddenin yanlı olması için, Değişen Madde Fonksiyonu içermesi gerekir. Bununlabirlikte, yalnızca DMF'nin varlığı, maddeyi yanlı yapmaz. Maddeye verilen cevaplardaki farklılık, altgruplardaki deneklerin yetenek düzeylerinde farklılık ortaya çıktığında olması gereken bir durumdur. Budurumu yanlılık olarak yorumlamak doğru değildir. Heterojen bir popülasyon üzerinde bir testyapılacaksa, yanlılık analizi ölçüm sürecinin en önemli bileşeni haline gelir. Buradaki en önemli hedefdenekler için adil, hassas ve duyarlı ölçümler yapmaktır. Bu çalışmada, Karadeniz Teknik Üniversitesiİstatistik ve Bilgisayar Bilimleri Bölümü'ndeki 3. ve 4. sınıf öğrencilerinin olasılık teorisi okuryazarlıkdüzeyleri ölçülmüştür. 3. ve 4. sınıf öğrencilerine 10 maddelik bir okuryazarlık testi uygulanmıştır.Öğrencilerin cevaplarına göre cinsiyet ve sınıf seviyesinde yanlılık analizi yapılmıştır. DMF analiziyaparken, Raju’nun Alan Ölçümü ve Lord’un ?2İstatistiği kullanılmıştır. Analizler R yazılımı kullanılarakyapılmıştır. DMF içeren maddeler için uzman görüşüne başvurulmuştur. Analiz sonuçlarına göre, bazıtest maddelerinin cinsiyet ve sınıf düzeylerine göre yanlı olduğu tespit edilmiştir.

Investigation of Probability Literacy Test in terms of Differential Item Function by Methods Based on Item Response Theory

The process of test development has many steps. The most important step in this process is to determine the validity and reliability of the test. Detection of item bias is an important concept for the validity and reliability of test. In order for an item to be biased, it must contain differential item function (DIF). However, the presence of DIF alone does not make the item biased. When there are differences in the skill levels of the subjects in the sub-groups, it is expected that there will be differences in the responses to the item. Nevertheless, it is not correct to interpret this situation as bias. If a test is to be performed on a heterogeneous population, bias analysis becomes the most important component of the measurement process. The primary objective here is to make fair, precise and sensitive measurement for subjects. In this study, probability theory literacy levels of 3rd and 4th grade students at the Department of Statistics and Computer Sciences of Karadeniz Technical University were measured. A 10-item literacy test was applied to all 3rd and 4th grade students. According to the answers of the students, bias analysis was conducted on gender and class level. When performing DIF analysis, Raju’s Area Measurement and Lord’s χ 2 Statistics were used with the help of R software. Expert opinion was consulted for items containing DIF. According to the results of the analysis, some test items were found to be biased by gender and grade levels.

PDF

___

Allalouf, A., Hambleton, R.K. and Sireci, S.G., 1999. Identifying the Causes of DIF in Translated Verbal Items. Journal of Educational Measurement, 36(3), 185-198.
Angoff, W. H., 1993. Differential Item Functioning, Paul W. Holland and Howard Wainer (Eds.), NJ:Lawrence Erlbaum Associates, Publishers, 3-23.
Arıkan Akın, Ç., 2015. Değişen Madde Fonksiyonunu Belirlemede MTK-Olabilirlik Oranı, Ordinal Lojistik Regresyon ve Poly-Sıbtest Yöntemlerinin Karşılaştırılması. E-Uluslararası Eğitim Araştırmaları Dergisi, 6(1), 1-16.
Atalay Kabasakal, K., Arsan, N., Gök, B. ve Kelecioğlu, H., 2014. Değişen madde fonksiyonunun belirlenmesinde MTK olabilirlik oranı, SIBTEST ve Mantel-Haenszel yöntemlerinin performanslarının (I. tip hata ve güç) karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri, 14(6), 2175-2193.
Atalay, K., Gök, B., Kelecioğlu, H. ve Arsan, N., 2012. Değişen Madde Fonksiyonunun Belirlenmesinde Kullanılan Farklı Yöntemlerin Karşılaştırılması: Bir Simülasyon Çalışması. Hacettepe Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 43, 270-281.
Bakan Kalaycıoğlu, D. ve Kelecioğlu, H., 2011. Öğrenci Seçme Sınavı’nın madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36(161), 161, 4-13.
Baker, F.B., 2016. Madde Tepki Kuramının Temelleri. Prof. Dr. Neşe Güler (çeviri editörü), Pegem Akademi, 17- 40.
Baykul, Y., 2000. Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. Ankara: ÖSYM Yayınları, 193-212.
Birnbaum, A., 1968. Some Latent Trait Models and Their Use in Inferring an Examinee’s Ability. Frederic M. Lord and M.R. Novick (Eds.), Adison-Wesley, 397-479.
Cohen, A.S., Kim, S., 1993. A comparison of Lord’s χ 2 and Raju’s area in detection of DIF. Applied Pyschological Measurement., 17(1), 39-52.
Cronbach, L. J., 1990. Essentials of psychological testing, New York: Harper Collins Pubisher, 475.
Dancer, L.S., Anderson, A.J. and Derlin, R.L., 1994. Use of log-linear models for assessing differential item functioning in a measure of psychological functioning, Journal of Consulting and Clinical Psychology, 62(4), 710-717.
De Gruijter, DNM ve van der Kamp, LJT., 2008. Statistical Test Theory for the Behavioral Sciences, Psychometrika, 73(4), 791-792.
DeMars, C., 2010. Item Response Theory: Understanding Statistics Measurement. Prof. Dr. Hülya Kelecioğlu (çeviri editörü), Oxford University Press, Oxford, 3-31.
Doğan, N. ve Öğretmen, T., 2005. Test ve madde yanlılığı. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 5(1), 89-103.
Drasgow, F. and Lissak, R., 1983. Modified parallel analysis: a procedure for examining the latent dimensionality of dichotomously scored item responses. Journal of Applied Psychology, 68(3), 363– 373.
Gelin, M. N. and Zumbo, B. D., 2003. Differential Item Functioning Results May Change Depending on How An Item is Scored: An İllustration with the Center for Epidemiologic Studies Depression (CES-D) Scale. Educational and Psychological Measurement, 63(1), 65-74.
Lord, F.M. 1980. Applications of Item Response Theory to Practical Testing Problems, Routledge, 52-60.
McLaughlin, M.E. and Drasgow, F. 1987. Lord’s chi-square test of item bias with estimated and with known person parameters. Applied Psychological Measurement, 11(2), 161-173.
Özmen, D.T., 2014. PISA 2009 Okuma Testi Maddelerinin Yanlılığı Üzerine Bir Çalışma. Eğitim Bilimleri ve Uygulama, 13(26), 147-165.
Raju, M.S., Drasgow, F. and Slinde, J.A. 1993. An emprical comparison of the area methods, Lord’s χ 2 test and the Mantel-Haenszel technique for assessing differential item functioning. Educational and Pyschological Measurement, 53(2), 301-314.
Raju, N.S., 1988, The area between two item characteristic curves, Psychometrika. 53(4), 495-502.
Raju, N.S., 1990. Determining the significance of estimated signed and unsigned areas between two item response functions. Applied Psychological Measurement. 14(2), 197-207.
Reckase, M.D., 2009. Multidimensional Item Response Theory. New York: Springer, 11-54.
Sünbül, Ö. ve Ömür Sünbül, S., 2016. Değişen Madde Fonksiyonunun Belirlenmesinde Kullanılan Yöntemlerde I. Tip Hata ve Güç Çalışması, İlköğretim Online, 15(3), 882-897.
Tekin, H., 1997. Eğitimde Ölçme ve Değerlendirme. Ankara: Mars Matbaası, 243-249.
Turgut, M.F., 1978. Eğitimde Ölçme ve Değerlendirme. Ankara: Nüve Matbaası.
Uyar, Ş., Öztürk Gübeş, N. ve Kelecioğlu H., 2013. PISA 2009 Tutum Anketi Madde Puanlarının Aşamalı Tepki Modeli ile İncelenmesi, Eğitim ve Öğretim Araştırmaları Dergisi, 2(4), 125-134.
1-http://www.psikolojisozlugu.com/, (13.03.2018)