Nejdet KARADAĞ, Murat Doğan ŞAHİN, Abdulkadir KARADENİZ, Serpil KOÇDAR

Uzaktan Eğitimde Çoktan Seçmeli Soruların Güçlük ve Ayırt Edicilik Değerlerinin Soru Türlerine Göre İncelenmesi

Bu araştırmanın amacı, Türkiye'de yükseköğretimde uzaktan eğitim bağlamında, çoktan seçmeli soruların güçlük ve ayırt edicilik değerlerinin soru türlerine göre farklılık gösterip göstermediğini belirlemek ve öğrencilerin soru türlerine ilişkin görüşlerini almaktır. Karma olarak desenlenen araştırmada hem nicel hem nitel veriler toplanmıştır. Nicel veriler için 905 soru üzerinde çalışılmış ve madde analizi raporlarından yararlanılmıştır. Nitel veriler ise öğrencilerin soruların güçlük değerlerine ilişkin görüşlerini ortaya koymak amacıyla 20 uzaktan öğrenciyle yapılan yarı-yapılandırılmış görüşmelerle gerçekleştirilmiştir. Araştırmada soruların olumlu soru kipindeki sorular, olumsuz soru kipindeki sorular, cevabı işlem gerektiren sorular ve K Tipi sorular olmak üzere 4 türde olduğu saptanmıştır. Araştırma sonuçlarına göre olumlu ve olumsuz soru kipindeki sorularla cevabı işlem gerektiren soruların madde güçlükleri arasında istatistiksel olarak manidar bir fark bulunurken, soruların ayırt edicilik değerleri arasında manidar bir fark bulunmamıştır. Öğrencilerin soruların güçlük değerlerine ilişkin görüşleri ve tercihlerinin farklılaştığı tespit edilmiştir.

Examining Difficulty and Discrimination Indices of Multiple Choice Questions according to Item Types in Distance Education

The purpose of this study is to determine whether difficulty and discrimination indices of multiple choice questions differ according to item types in Turkey in higher education in a distance education setting and to identify the opinions of students on item types. In this mixed study, both quantitative and qualitative data were collected. Quantitative data were collected from Item Analysis reports including 905 items whereas qualitative data were collected from 20 students via semi-structured interviews to reveal the opinions of students on difficulty levels of questions. It was identified that items were in 4 types which were positive, negative, problem-based and K-Type questions. As a result, there is a significant difference between the difficulty indices of positive questions and problem-based questions as well as negative questions and problem-based questions. On the other hand, no significant difference was found between the discrimination indices. In addition, it was found that opinions of students on the difficulty levels of questions showed variety.

PDF

___

Albanese, M. (1993). Type K and other complex multiple-choice items: an analysis of research and item properties.
Educational Measurement: Issues and Practice, 12(1), 28-33.
Bray, J.H. ve Maxwell, S.E. (1982). Analyzing and interpreting significant MANOVAs. Review of Educational Research, 52, 340-367.
Büyüköztürk, Ş., Çokluk, Ö. ve Köklü, N. (2015). Sosyal bilimler için istatistik. Ankara: Pegem Akademi.
Creswell, J. W. (2008). Educational research: planning, conducting and evaluating quantitaive and qualitative research (3. baskı). New Jersey:Pearson Education, Inc. Upper Saddle River.
Çokluk, Ö., Şekercioğlu, G. ve Büyüköztürk, Ş. (2012). Sosyal bilimler için çok değişkenli istatistik: SPSS ve LISREL uygulamaları. Ankara: Pegem Akademi.
Downing, S. M., Dawson-Saunders, B., Case, S. M., ve Powell, R. D. (1991, Nisan). The psychometric effects of negative stems, unfocused questions, and heterogeneous options on NBME Part I and Part II item characteristics. National Council on Measurement in Education Konferansı'nda sunulan bildiri, Chicago.
Field, A. (2009). Discovering statics using SPSS. London: SAGE Publications Ltd. Johnstone, A.H. (1983). Training teachers to be aware of student learning difficulties. İçinde Tamir, P., Hofstein, A. & Ben Peretz, M. (eds) Preservice and inservice education of science teachers. Rehovot, Israel & Philadelphia: Balaban International Science Services: 109-116.
Jordan, S. ve Mitchell, T. (2009). e-Assessment for learning? The potential of short-answer free-text questions with tailored feedback. British Journal of Educational Technology, 40(2), 371-385.
Haladyna, T. M., Downing, S. M. ve Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-309.
Haladyna, T.M. (2004). Developing and validating multiple-choice test items. (3 ed.) Mahwah, NJ: Lawrence Erlbaum Associates.
Harasym, P. H., Price, P. G., Brant, R., Violato, C. ve Lorscheider, F. L. (1992).
Evaluation of negation in stems of multiple-choice items. Evaluation and the Health Professions, 15, 198-220.
Johnstone, A.H. (1983). Training teachers to be aware of student learning difficulties.
İçinde Tamir, P., Hofstein, A. & Ben Peretz, M. (eds) Preservice and inservice education of science teachers. Rehovot, Israel & Philadelphia: Balaban International Science Services: 109-116.
Kaptan, F. (1985). ÖSYS Fizik soruları üzerine bir nitelik araştırması. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
Karaca, E. (2004). Seçme gerektiren, kısa cevaplı ve doğru-yanlış testlerinin madde ve test özelliklerinin karşılaştırılması. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, 10.
Karadağ, N. (2014) Açık ve uzaktan eğitimde ölçme ve değerlendirme: mega üniversitelerdeki uygulamalar.
Yayımlanmamış doktora tezi, Anadolu Üniversitesi Sosyal Bilimler Enstitüsü, Eskişehir. Kaya, A. (1991). Eksik köklü - ortak seçenekli - ortak köklü madde türlerinin madde ve test istatistiklerine etkisi.
Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
Lindler, P. (1998). Assessment tools for distance learning: A review of the literature. Washington State Board for Comunity and Technical Colleges, Olympia. [Çevrim-içi: http://files.eric.ed.gov/fulltext/ED426725.pdf], Erişim tarihi: 09.02.2016.
McIsaac, M.S. ve Gunawardena, C.N. (1996). Distance education. Handbook of research for educational communications and technology (Ed: D. Jonassen). New York: Simon and Schuster Macmillan, ss. 403.
Miles, M. B. ve Huberman, A.M. (1994). Qualitative data analysis: An expanded sourcebook. Thousand Oaks, California: SAGE Gardner-Medwin, T. ve Curtin, N. (2007). Certainty-based marking (CBM) for reflective learning and proper knowledge assessment. REAP Int. Online Conf. on Assessment Design for Learner Responsibility Konferansında sunulan bildiri.
Nnodim, J. O. (1992). Multiple-choice testing in anatomy. Medical Education, 26, 301-309.
Özçelik, D.A. (1989). Test hazırlama kılavuzu. Ankara: ÖSYM Yayınları 8.
Pallant, J. (2005). SPSS survival manual: A step by step guide to data analysis using SPSS for Windows. Australia: Allen & Unwin.
Pearson, E. S., Pearson, K. ve Hartley, H.O. (1958). Biometrika tables for statisticians. New York: Cambridge University Press.
Popham, J. (2003). Test better, teach better: The instructional role of assessment. Alexandria, VA: ASCD. Puspitasari, K.A. (2010). Student assessment. Policy and Practice in Asian Distance Education (Ed: T. Belawati ve J.
Baggaley). New Delhi: SAGE, pp.60-65.
Rachor, R. E. ve Gray, G. T. (1996, Nisan). Must all stems be green? A study of two guidelines for writing multiple choice stems. American Educational Research Association Konferansında sunulan bildiri, New York.
Sanderson, P.J. (2010). Multiple-choice questions: a linguistic investigation of difficulty for first-language and second-language students. Yayınlanmamış doktora tezi. University of South Africa, Güney Afrika. Simonson, M., Smaldino, S., Albright, M. ve Zvacek, S. (2012). Teaching and learning at a distance: Foundations of distance education. Boston: Allyn & Bacon.
Stevens, J.P. (2009). Applied multivariate statistics for the social sciences. New York: Routledge.
Strangor, C. (2010) Research methods for the behavioral sciences. Boston, MA: Houghton Mifflin.
Tabachnick, B. G. ve Fidell, L.S. (2007). Using Multivariate Statics. Boston: Pearson. Tamir, P. (1993). Positive and negative multiple choice items: Howdifferent are they? Studies in Educational Evaluation, 19, 311-325.
Tashakkori, A. ve Teddlie, C. (2003). Handbook of mixed methods in social and behavioral research. Thousand Oaks, CA: Sage.
Tekin, H. (1994). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınları.
Thorpe, M. (1988). Evaluating open and distance learning. Great Britain: Biddles Ltd.
Varughese, K.V. ve Glencross, M.J. (1997). The effect of positive and negative modes of multiple choice items on students' performance in Biology. South African Journal of Higher Education, 11 (1), 177-179.
Yıldırım, A. ve Şimşek, H. (2008). Sosyal bilimlerde nitel araştırma yöntemleri (7. baskı). Ankara: Seçkin.
Zhang, W., Tsui, C., Jedege, O., Ng, F. ve Kowk, L. (2002). A comparison of distance education in selected Asian open universities. 14th Annual Conference of Asian Association of Open Universities Konferansında sunulan bildiri, Manila, Philippines. [Available online at: http://www.ouhk.edu.hk/cridal/gdenet/Management/Governance/EAM11A.html ], Retrieved on 23.02.2016.