Item Difficulty from Gramhical Item Analysis

Problem Durumu: Grafiksel madde analizi (GMA), herhangi bir istatistiksel işlem ya da parametre kestirimi içermeyen ve kompleks bilgisayar programları gerektirmeyen bir uygulamadır. GMA, çoktan seçmeli maddelere ilişkin seçenekleri işaretleme oranları ile öğrencilerin testlerdeki toplam puanları arasındaki bağıntıyı görsel olarak ele alır. GMA, ilk olarak Batenburg ve Laros (2002) tarafından Brezilya’daki Ulusal Eğitim Sürecini Değerlendirme Projesi’nde geliştirilmiş ve kullanılmıştır. Araştırmanın Amacı: Bu çalışmada ise GMA, Türkiye’de Ortaöğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı’nda uygulanmıştır. Araştırmanın amacı ise, öğrencilerin test puanları ve madde yanıtları arasındaki grafiklerden madde istatistiklerini elde etmektir. Bu çalışmada araştırmacılar tarafından geliştirilen formüller yardımı ile grafiksel madde güçlük değerleri elde edilmiştir. Çalışmada grafiksel madde analizinden elde edilen sonuçlar klasik analiz ve madde-yanıt kuramından elde edilen madde güçlükleri ile karşılaştırılmıştır. Yöntem: Ortaöğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavı (OK-ÖSYS), çoktan seçmeli 100 maddeden ve Türkçe, matematik, fen bilimleri ile sosyal bilimler alt testlerinden oluşmaktadır. Bu çalışmada, 2001 yılında uygulanan OK-ÖSYS sınavına katılan 553108 öğrencinin verileri kullanılmıştır. GMA için SPSS betiği ve bu çalışma için geliştirilen formüller yardımı ile maddelerin madde güçlük değerleri ve madde kolaylık değerleri elde edilmiştir. Daha sonra GMA’dan elde edilen madde kolaylık değerleri ile klasik madde analizindeki madde güçlük indeksi karşılaştırılmıştır. Benzer şekilde GMA’dan elde edilen madde güçlük değerleri ile madde-yanıt kuramındaki b parametre değerleri karşılaştırılmıştır. Bulgular ve Sonuçlar: Elde edilen değerlere göre GMA kapsamındaki grafiksel yöntem ile elde edilen madde güçlük değerleri ve klasik madde analizindeki madde güçlük indeksi arasında yüksek korelasyon elde edilmiştir. Aynı şekilde GMA’daki madde güçlük değerleri ve madde-yanıt kuramındaki b parametresi ile de çok yüksek korelasyonlar elde edilmiştir. Öneriler: Bu çalışmada sunulan ve araştırmacılar tarafından GMA için geliştirilen madde güçlük ve madde kolaylık parametreleri, geleneksel madde analizlerinin yerine kullanılabilir.

Grafiksel Madde Analizinde Madde Güçlük Değerlerinin Elde Edilmesi

Background: Graphical item analysis (GIA) visually displays the relationship between total score on a test and the response proportions of the correct and false alternatives of a multiple-choice item. GIA is a method to evaluate the quality of items. GIA is easy to understand and does not require complex computer programs to estimate the item parameters. GIA was applied initially in the SAEB (National Evaluation System of Educational Progress) project in Brazil by Batenburg and Laros. Purpose: In this study, GIA was described and applied to the SSPE-SE (Student Selection and Placement Examination for Secondary Education) in Turkey. In addition to this, the difficulty and facility parameters, developed by researchers, were visualized and calculated based on the predetermined critical points on the graphs. The results of the item difficulties in GIA were compared to classical item analysis and item response theory. Method: The SSPE-SE consists of 100 multiple-choice items, divided into four subtests:Turkish, mathematics, sciences, social sciences, and each subtest consists of 25 items. In the present study, the data was gathered from 553108 pupils and SSPE-SE carried out in 2001 was utilized. For the GIA, we used the SPSS script. In the next step, we calculated the item difficulty values and item facility values by developed formulas in this study. In the last step, the facility values obtained from GIA were compared with difficulty index value in classical item analysis. The difficulty values obtained from GIA were compared with b parameter in item response theory. Results: In this study, statistical item difficulty and facility parameters obtained from GIA were used in order to analyze of the data. Then these parameters obtained from the GIA were given with item difficulty parameters in CTT and IRT. The items characteristics are concordant to the results of GIA. There is a linear relation found between difficulty values of test items in GIA and in other traditional item analysis. Discussions and Suggestions:According to these results, we are proposing that it is more consistent to use the formulas of the item difficulty and facility presented in this study, instead of counterpart in traditional analysis.

___

  • Batenburg, T. A. Van & Laros, J. A. (2002). Graphical analysis of test items. Educational Research and Evaluation, 8, 319-333
  • Cohen, R. J., Swerdlick, M. E. & Phillips, S. M. (1996). Test development. In Psychological testing and assessment: An introduction to test and measurement. (3rd Edition). Mountain View, CA: Mayfield.
  • Guttman, L. (1950). The basis for scalogram analysis. In S.A. Stouffer, L. Guttman, E.A. Suchman, P.F. Lazarsfeld, S.A. Star, & J.A. Clausen (Eds.), Studies in social psychology in world war II (Vol. IV). Princeton, NJ: Princeton University Press.
  • Hambleton, R. K., Swaminathan H., & Rogers, H.J.(1991).Fundamentals of item response theory. Newbury park, CA: Sage.
  • Hambleton, R. K. & Swaminathan, H. (1985). Item response theory, principles and applications. Newbury Park, CA: Sage.
  • Hills, J. R. (1981). Measurement and evaluation in the classroom. (2.nd Edition). Columbus, OH:Charles E. Merrill.
  • Payne D. A. (1974). The assessment of learning - Cognitive and affective. Lexington, Ky: D.C. Heath and Company; 255,272.
  • Thomson, B. & Livitov, J. E. (1995). Using microcomputers to score and evaluate test items. Collegiate Microcomputer, 3, 163-168.