Effects of Content Balancing and Item Selection Method on Ability Estimation in Computerized Adaptive Tests

Problem Durumu: Önemli fizik kavramlarını içeren kuvvet ve hareket konusu ile hemen hemen her düzeydeki öğrencide oldukça yüksek oranda kavram yanılgısı olduğu yürütülen araştırmalarla ortaya konulmuştur. Fakat benzer olarak yapılan bu çalışmalarda sadece kavram yanılgıları ortaya çıkarılmış ve yanılgıların nedenleri araştırılmadan farklı yöntem ve tekniklerle giderilmeye çalışılmıştır. Ontolojik kategorilere göre, yanılgıların nedenlerinin ortaya konulduğu değerlendirmenin yapıldığı araştırmalar sınırlı sayıdadır. Bu nedenle yapılan çalışmanın problem cümlesi, yanılgıların nedenlerini tespit etmek ve etkili bir yöntem önermek amacı ile "Kuvvet ve Hareket konusu ile ilgili geliştirilen argüman ortamlarının ve geleneksel olarak yürütülen öğretim sürecinin, Kuvvet ve Hareket konusu ile ilgili tespit edilmiş, ontolojik kategorileştirmeden kaynaklanan kavram yanılgılarını gidermede etkisi nasıldır?" olarak saptanmıştır. Araştırmanın Amacı: Bu araştırmada, "Kuvvet ve Hareket" konusunda yer alan kuvvet, sürtünme kuvveti, iş, enerjinin korunumu, mekanik enerji, kinetik enerji, potansiyel enerji, yayların depoladığı enerji gibi temel Fizik kavramları ilgili öğrencilerde bulunan kavram yanılgılarını ortaya çıkarmak ve bulunan yanılgıları ontolojik açıdan değerlendirilip, kategorileştirildikten sonra oluşturulan argüman ortamları ve geleneksel olarak uygulanan öğretim süreci ile gidermek amaçlanmıştır. Araştırmanın Yöntemi: Araştırmanın deseni, temel problemi ve cevap aranan alt problemler dikkate alındığında ön test-son test kontrol gruplu yarı deneysel modeldir. Çalışmada uygulanan deneysel desende, bağımlı değişkenler akademik başarı, bilimsel süreç becerileri ve kavram öğrenme olarak belirlenmiştir. Bu bağımlı değişkenler üzerinde etkisi incelenen bağımsız değişken ise uygulanan öğrenmeöğretme yaklaşımıdır. Ayrıca Kuvvet ve Hareket Konusu Kavram testinde yer alan her bir soru için tespit edilen ontolojik kategoriler derinlemesine analiz edilip tartışılmıştır. Araştırmanın Bulguları: Uygulamanın ardından deney grubu ile kontrol grubu arasında, bilimsel süreç becerilerinden değişkenleri tanımlama, işlemsel açıklamalar yapma, araştırma tasarlama ile grafiği ve verileri yorumlama boyutlarında deney grubu lehine anlamlı bir fark oluşmuştur. Yine gerçekleştirilen uygulamanın ardından deney grubu ile kontrol grubu arasında, akademik başarı ve kavram öğrenme düzeyleri açısından deney grubu lehine anlamlı bir fark oluşmuştur. Yapılan uygulamaların öncesi ve sonrasında Kuvvet ve Hareket Ünitesi ile ilgili belirlenmiş temel Fizik kavramları ontolojik olarak incelenip kategorileştirdikten sonra, deney grubundaki öğrencilerin, uygulamadan önce üst kategoriye yerleştirmeden kaynaklanan 301 kavram yanılgısı, yanal kategoriye yerleştirmeden kaynaklanan 150 kavram yanılgısı tespit edilmiştir. Üst kategoriye yerleştirmeden kaynaklanan bu 301 kavram yanılgısının 252'si yapılan argüman çalışmaları sayesinde giderilmiştir. Üst kategoride giderilen kavram yanılgısının oranına bakıldığında %83,72 olduğu bulunmuştur. Yanal kategoriye yerleştirilen 150 kavram yanılgısının 128'unun da yapılan argüman çalışmaları sonrası giderilmiştir. Yanal kategoride giderilen kavram yanılgısının oranına bakıldığında %85,33 olduğu bulunmuştur. Bu durum öğretim süreci boyunca kullanılan argüman çalışmalarının olumlu etkisini ortaya çıkarmıştır. Üst ve yanal kategoride ortaya çıkan kavram yanılgıları büyük bir oranda ortadan kaldırılmıştır. Üst ontolojik ve yanal kategoriler kendi içerisinde incelendiğinde, özellikle yanal kategoriler içerisine yerleştirilmiş kavram yanılgılarının, yapılan argüman çalışmaları sonrası daha fazla giderildiği görülmüştür. Kontrol grubundaki öğrencilerin, uygulamadan önce üst kategoriye yerleştirmeden kaynaklanan 318 kavram yanılgısı, yanal kategoriye yerleştirmeden kaynaklanan 131 kavram yanılgısı tespit edilmiştir. Üst kategoriye yerleştirmeden kaynaklanan bu 318 kavram yanılgısının 122'si giderilmiştir. Üst kategoride giderilen kavram yanılgısının oranına bakıldığında %38,36 olduğu bulunmuştur. Yanal kategoriye yerleştirilen 131 kavram yanılgısının 59'ü giderilmiştir. Yanal kategoride giderilen kavram yanılgısının oranına bakıldığında %45,03 olduğu bulunmuştur. Bu durum labaratuar ortamında yapılan geleneksel çalışmaların, yanal kategoriye yerleştirilmiş kavram yanılgılarını gidermede, üst kategoriye yerleştirilmiş yanılgılara göre daha başarılı olduğunu göstermektedir. Bunun yanı sıra geleneksel olarak uygulanan çalışmaların öğrencilerde yeni kavram yanılgıları da çıkan sonuçlardan görülmektedir. Yapılan çalışmalar sonrasında 31 yeni kavram yanılgısı ortaya çıkmıştır. Araştırmanın Sonuçları ve Önerileri: Araştırmada kavram yanılgılarının ontolojik kategorilere göre değerlendirilmesi bu yanılgıların ontolojiye göre hangi nedenlerden dolayı oluştuğunun anlaşılmasını sağlamıştır ayrıca argüman ortamlarının ontolojik olarak tespit edilmiş kavram yanılgılarından sınırlı etkileşimdoğal, rastgele olay ve madde kategorilerindeki yanılgıları gidermediki etkililiği sayısal verilerle ortaya konulmuştur. Bu nedenle aktarılacak konuların bu tür yanılgıları içermesi halinde, argüman ortamları yaratılıp öğrenme ortamı daha etkin ve yanılgısız hale getirilebilir. Yanılgıların nedenlerinin bilinmesi bu ve buna benzer araştırmalar için oldukça önemlidir. Kavram yanılgılarının giderilmesi ancak nedenleri üzerine yoğunlaşıp bunların oluşmalarını engelleyen çalışmaların, öğretim yöntemlerinin, vb. hazırlanmasıyla gerçekleştirilebilir. Bu nedenle ontolojik kategoriler yanılgıların nedenlerinin açığa çıkarılmasını sağladığından çok önemlidir. Kavram yanılgılarının belirlenmesi, değerlendirilmesi ve giderilmesi gibi araştırmalar ontolojik kategorilerden yararlanılarak gerçekleştirilmelidir. Bunun yanı sıra öğretmenler farklı konularda, farklı argüman teknikleri ile geliştirecekleri çalışmalarla ders içeriklerinin kalitesini daha rahat arttırabilir. Bu nedenle yurt dışında birçok çalışma ile etkililiği belirlenen bilimsel tart

Kavram Yanılgılarının Ontolojik Açıdan İncelenmesi ve Bulunan Yanılgıların Oluşturulan Argüman Ortamları ile Giderilmesi

Purpose: This study aims to reveal effects of contentbalancing and item selection method on abilityestimation in computerized adaptive tests bycomparing Fisher’s maximum information (FMI) andlikelihood weighted information (LWI) methods.Research Methods: Four groups of examinees (250,500, 750, 1000) and a bank of 500 items with 10different content domains were generated throughMonte Carlo simulations. Examinee ability wasestimated by fixing all settings except for the itemselection methods mentioned. True and estimatedability (θ) values were compared by dividingexaminees into six subgroups. Moreover, the averagenumber of items used was compared. Findings: Thecorrelations decreased steadily as examinee θlevelincreased among all examinee groups when LWI was used. FMI had the same trend with the250 and 500 examinees. Correlations for 750 examinees decreased as θ level increased as well,but they were somewhat steady with FMI. For 1000 examinees, FMI was not successful inestimating examinee θ accurately after θ subgroup 4. Moreover, when FMI was used, θestimates had less error than LWI. The figures regarding the average items used indicated thatLWI used fewer items in subgroups 1, 2, 3 and that FMI used less items in subgroups 4, 5, and 6.Implications for Research and Practice: The findings indicated that when content balancing isput into use, LWI is more suitable to estimate examinee θ for examinees between -3 and 0 andthat FMI is more stable when examinee θ is above 0. An item selection algorithm combiningthese two item selection methods is recommended.

___

  • Barrada, J. R., Olea, J., Ponsoda, V., & Abad, F. J. (2009). Item selection rules in computerized adaptive testing: Accuracy and security. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 5, 7-17. https://dx.doi.org/10.1027/1614-2241.5.1.7
  • Barrada, J. R., Olea, J., Ponsoda, V., & Abad, F. J. (2010). A method for the comparison of item selection rules in computerized adaptive testing. Applied Psychological Measurement, 34, 438-452. https://dx.doi.org/10.1177/0146621610370152
  • Chang, H.-H., & Ying, Z. (1996). A global information approach to computerized adaptive testing. Applied Psychological Measurement, 20, 213– 229. http://dx.doi.org/10.1177/014662169602000303
  • Chen, S.-Y., Ankenmann, R. D., & Chang, H. H.(2000). A comparison of item selection rules at the early stages of computerized adaptive testing. Applied Psychological Measurement, 24, 241-255. http://dx.doi.org/10.1177/01466210022031705
  • Cheng, E.P. & Liou, M. (2003). Computerized adaptive testing using the nearestneighbors criterion. Applied Psychological Measurement, 27(3), 204-216. http://dx.doi.org/10.1177/0146621603027003002
  • Choi, S. W.& Swartz, R. J. (2009). Comparison of CAT item selection criteria for polytomous items. Applied Psychological Measurement, 33, 419-440. http://dx.doi.org/10.1177/0146621608327801
  • Embretson, S.E. & Reise, S.P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
  • Gao, F., & Chen, L. (2005). Bayesian or non-Bayesian: A comparison study of item parameter estimation in the three parameter logistic model. Applied Measurement in Education, 18, 351–380. http://dx.doi.org/10.1207/s15324818ame1804_2
  • Hambleton, R. K., & Swaminathan H. (1985). Item response theory: Principals and applications. Norwell, MA: Kluwer Nijhof.
  • Hambleton, R. K., Swaminathan, H., & Rogers, H.J. (1991) Fundamentals of item response theory. Newbury Park, CA: Sage Publications. Han, K. T. (2012). SimulCAT: Windows software for simulating computerized adaptive test administration. Applied Psychological Measurement, 36(1), 64-66. http://dx.doi.org/10.1177/0146621611414407
  • International Council for Science. (2004). The value of basic scientific research. Retrieved March 10, 2017 from http://www.icsu.org/publications/icsu-positionstatements/value-scientific-research
  • Kingsbury, G. G., & Zara, A. R. (1989). Procedures for selecting items for computerized adaptive tests. Applied Measurement in Education, 2, 359–375. http://dx.doi.org/10.1207/s15324818ame0204_6
  • Lord, F. M. (1980) Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum Associates.
  • Passos, V. L., Berger, M. P. F., & Tan, F. E. (2007). Test design optimization in CAT early stage with the nominal response model. Applied Psychological Measurement, 31, 213-232. http://dx.doi.org/10.1177/ 0146621606291571
  • Rudner, L. M. (1998). An on-line, interactive, computer adaptive testing tutorial. Retrieved February 25, 2017 from http://echo.edres.org:8080/scripts/cat/catdemo.htm
  • Sahin, A., & Weiss, D. J. (2015). Effects of calibration sample size and item bank size on ability estimation in computerized adaptive testing. Educational Sciences: Theory & Practice, 15, 1585-1595. http://dx.doi.org/10.12738/estp.2015.6.0102
  • Thompson, N. A., & Weiss, D.J. (2011). A Framework for the development of computerized adaptive tests. Practical Assessment, Research & Evaluation, 16(1), 1-9. Retrieved from: http://pareonline.net/getvn.asp?v=16&n=1 van der Linden, W. J. (1998). Bayesian item selection criteria for adaptive testing. Psychometrika, 63, 201-216. http://dx.doi.org/10.1007/BF02294775
  • van Rijn, P., Eggen, T. J., Hemker, B. T., & Sanders, P. F. (2002). Evaluation of selection procedures for computerized adaptive testing with polytomous items. Applied Psychological Measurement, 26, 393-411. http://dx.doi.org/10.1177/014662102237796
  • Veerkamp, W. J .J. & Berger, M. P. F. (1997). Some new item selection criteria for adaptive testing. Journal of Educational and Behavioral Statistics, 22(2), 203-226. Retrieved from http://www.jstor.org/stable/1165378