Investigation of Variables Predicting Response Time for PISA Mathematics Items

One of the most essential contributions of technological developments in educational measurement is providing an environment for administering computer-based test items. Due to its technological infrastructure, computer-based tests have some advantages over paper and pencil based tests such as fast score reporting, supporting innovative item formats and recording response time. The purpose of this study is to investigate student characteristics predicting the response time for different item types and mathematical processes in PISA 2012 mathematical literacy items. A computer-based testing environment have been developed and 26 released mathematics items were used. The participants of the study were 124 ninth grade students of a high school in the Mediterranean region. Within the scope of the study, multiple linear regression analysis was conducted to predict the response time with gender, daily computer usage, mathematics exam score, Turkish Language and Literature exam score and average response length (only for open-ended items). In the study, various models were tested regarding item type (multiple-choice and open-ended) and mathematical processes (formulate, employ and interpret). The results of the study indicated that mathematics exam score was not a significant predictor of response time in all models. Moreover, it was found that gender was a predictor of response time and male students used less time for responding to the items than female students by holding the remaining predictor variables constant.

PISA Matematik Sorularında Yanıtlama Süresini Yordayan Değişkenlerin İncelenmesi

Gelişen teknolojinin eğitimde ölçme ve değerlendirme sürecine sağladığı en önemli katkılardan biri hiç şüphesiz testlerin bilgisayar ortamında uygulanabilmesidir. Kâğıt-kalem kullanılarak yanıtlanan testler ile karşılaştırıldığında katılımcıların test puanlarını sınav bitiminde öğrenebilmesi ve yenilikçi farklı soru formatlarını desteklemesi gibi üstünlükleri olan bilgisayar ortamındaki testler, sahip olduğu teknolojik altyapı sayesinde katılımcıların her sorunun yanıtlanmasında harcadığı süreyi de kaydedebilmektedir. Bu çalışmanın amacı, PISA 2012 matematik okuryazarlığı maddelerinde farklı soru türleri ve matematiksel süreçler için yanıtlama süresini yordayan öğrenci özelliklerini incelemektir. Bu amaçla, Uluslararası Öğrenci Değerlendirme Programı (PISA) 2012 uygulamasının açıklanan 26 matematik okuryazarlığı sorusu kullanılarak bilgisayar ortamında test uygulaması geliştirilmiştir. Çalışmanın katılımcılarını, Akdeniz Bölgesindeki bir lisede okuyan 124 dokuzuncu sınıf öğrencisi oluşmaktadır. Bu çalışma kapsamında cinsiyet, günlük bilgisayar kullanım süresi, matematik yazılı, Türk Dili ve Edebiyatı yazılı notu ve (açık uçlu sorulardaki) ortalama yanıt uzunluğu gibi değişkenler ile cevap süresini tahmin etmek için çoklu doğrusal regresyon analizi yapılmıştır. Çalışmada, madde tipi (çoktan seçmeli ve açık uçlu) ve matematiksel süreçler (formüle etme, işe koşma ve yorumlama) ile ilgili çeşitli modeller test edilmiştir. Araştırma bulguları, hiçbir modelde sınıf içi matematik sınav notunun yanıtlama süresini yordamadığını göstermiştir. Bununla birlikte, cinsiyetin yanıtlama süresini yordayan bir değişken olduğu görülmüş ve modelde yer alan diğer değişkenler sabit tutulduğunda erkeklerin kızlara göre soruların yanıtlanmasında daha az süre kullandıkları belirlenmiştir.

Kaynakça

Arendasy, M., & Sommer, M. (2010). Evaluating the contribution of different item design features to the effect size of the gender difference in three-dimensional mental rotation using automatic item generation. Intelligence, 38, 574-581.

Ateş, M. (2008). İlköğretim ikinci kademe öğrencilerinin okuduğunu anlama düzeyleri ile Türkçe dersine karşı tutumları ve akademik başarıları arasındaki ilişki. Doctoral dissertation, Selçuk Üniversitesi Sosyal Bilimler Enstitüsü.

Berberoğlu, G., & Kalender, İ. (2005). Öğrenci başarısının yıllara, okul türlerine, bölgelere göre incelenmesi: ÖSS ve PISA analizi. Journal of Educational Sciences & Practices, 4(7), 21-35.

Chang, H.S. (2003), Difficulties in Studying and Teaching Literature Survey Courses- in English Departments in Taiwan, Master’s Thesis. http://repositories.lib.utexas.edu/bitstream/handle/2152/489/changh036.pdf?sequ ence=2

Corston, R., & Colman, A. M. (1996). Gender and social facilitation effects on computer competence and attitudes toward computers. Journal of Educational Computing Research, 14(2), 171-183.

Crano, W.D., ve Brewer, M.B. (2002). Principles and methods of social research. New Jersey, Lawrence Erlbaum Associates Publishers.

DeMars, C. E., & Wise, S. L. (2010). Can differential rapid-guessing behavior lead to differential item functioning? International Journal of Testing, 10(3), 207-229.

DeMars, C. E., Bashkov, B. M., & Socha, A. B. (2013). The role of gender in test-taking motivation under LowStakes Conditions. Research & Practice in Assessment, 8, 69-82.

EARGED (2005). PISA 2003 projesi ulusal nihai rapor. [Çevrimiçi: http://pisa.meb.gov.tr/?page_id=22, Erişim tarihi: 11.03.2020]

Eggen, T. J. H. M. (2007). Choices in CAT models in the context of educational testing. In Proceedings of the 2007 GMAC conference on computerized adaptive testing.

Güler, G., Özdemir, E., & Dikici, R. (2012). İlköğretim matematik öğretmenlerinin sınav soruları ile SBS matematik sorularının Bloom taksonomisi’ne göre karşılaştırmalı analizi. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 14(1), 41-60.

Hair, J., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis (7th ed.). Upper saddle River, New Jersey: Pearson Education International.

Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Sage.

Hamilton, L. S. (1999). Detecting gender-based differential item functioning on a constructed-response science test. Applied measurement in Education, 12(3), 211-235.

Harrison, A. W., & Rainer, R. K. (1992). The influence of individual differences on skill in end-user computing. Journal of Management Information Systems, 9(1), 93-111.

Hornke, L. F. (2000). Item response times in computerized adaptive testing. Psicológica, 21(1), 175-189.

Jodoin, M. G. (2003). Measurement efficiency of innovative item formats in computer‐based testing. Journal of Educational Measurement, 40(1), 1-15.

Karaman, M., & Bindak, R. (2017). İlköğretim matematik öğretmenlerinin sınav soruları ile TEOG matematik sorularının yenilenmiş Bloom Taksonomisine göre analizi. Current Research in Education, 3(2), 51-65.

Knaub, J. (2007). Heteroscedasticity and homoscedasticity. Encyclopedia of measurement and statistics, 431-432.

Krendl, K. A., Broihier, M. C., & Fleetwood, C. (1989). Children and computers: Do sex‐related differences persist? Journal of Communication, 39(3), 85-93.

Lu, Y., & Sireci, S. G. (2007). Validity issues in test speededness. Educational Measurement: Issues and Practice, 26(4), 29-37.

McDonald, B. (2002). A teaching note on Cook's distance-a guideline, Research Letters in the Information and Mathematical Sciences, 3, 122-128.

Myers, R.H. (1990). Classical and modern regression with applications. PWS-Kent Publishing, Boston.

Nas, R. (2003). Türkçe Öğretimi. Bursa: Ezgi Kitabevi.

OECD (2010). PISA 2012 Mathematics framework. OECD Publishing.

OECD (2013). PISA 2012 assessment and analytical framework: Mathematics, reading, science, problem solving and financial literacy. OECD Publishing.

OECD (2014). PISA 2012 Results: What Students Know and Can Do (Volume I: Student Performance in Mathematics, Reading and Science. OECD Publishing.

OECD (2017). PISA 2015 Results: Excellence and Equity in Education. OECD. Paris, S. G., & Stahl, S. A. (2005). Children's reading comprehension and assessment. Routledge.

Schnipke, D. L. (1995). Assessing Speededness in Computer-Based Tests Using Item Response Times. A paper presented at the annual meeting of the National Council on Measurement in Education April, 1995, San Francisco, CA.

Schumacher, P., & Morahan-Martin, J. (2001). Gender, Internet and computer attitudes and experiences. Computers in Human Behavior, 17(1), 95-110.

Sireci, S. G., & Zenisky, A. L. (2006). Innovative item formats in computer-based testing: In pursuit of improved construct representation. Handbook of Test Development, 329-347.

Stacey, K. (2015). The international assessment of mathematical literacy: PISA 2012 framework and items. In selected regular lectures from the 12th International Congress on Mathematical Education (pp. 771-790). Springer, Cham.

Stevens, J. (2002). Applied multivariate statistics for the social sciences. Lawrence Erlbaum Associates. Mahwah, NJ.

Stoilescu, D., & Egodawatte, G. (2010). Gender differences in the use of computers, programming, and peer interactions in computer science classrooms. Computer Science Education, 20(4), 283-300.

Tabachnick, B. G. & Fidell, L. S. (2007). Using multivariate statistics (7th ed.). Boston, MA: Pearson.

van der Linden, W. J. (2008). Using response times for item selection in adaptive testing. Journal of Educational and Behavioral Statistics, 33(1), 5-20.

van der Linden, W. J. (2009). A bivariate lognormal response-time model for the detection of collusion between test takers. Journal of Educational and Behavioral Statistics, 34(3), 378-394.

van der Linden, W. J., & Guo, F. (2008). Bayesian procedures for identifying aberrant response-time patterns in adaptive testing. Psychometrika, 73(3), 365-384.

van der Linden, W. J., & van Krimpen-Stoop, E. M. (2003). Using response times to detect aberrant responses in computerized adaptive testing. Psychometrika, 68(2), 251-265.

Voyer, D., & Doyle, R. A. (2010). Item type and gender differences on the mental rotations test. Learning and Individual Differences, 20, 469-472.

Wilson, B. C. (2004). A study of learning environments associated with computer courses: Can we teach them better? Journal of Computing Sciences in Colleges, 20(2), 267-273.

Wise, S. L., & DeMars, C. E. (2006). An application of item response time: The effort‐moderated IRT model. Journal of Educational Measurement, 43(1), 19-38.

Wise, S. L., & Kong, X. (2005). Response time effort: A new measure of examinee motivation in computer-based tests. Applied Measurement in Education, 18(2), 163-183.

Kaynak Göster

  • ISSN: 2148-3485
  • Yayın Aralığı: Yılda 2 Sayı
  • Başlangıç: 2014

3.3b 1.5b