Açıköğretim sistemindeki açık uçlu soruların Çok Yüzeyli Rasch Modeli analizi yöntemiyle puanlanması
Açık uçlu soruların oluşturduğu sınavların puanlanmasında, bir puanlayıcıdan beklenen soruların zorluk derecesinden ve değerlendirme yöntemlerinden bağımsız olarak değerlendirme aşamasını nesnel ve adil olarak gerçekleştirmesidir. 2016-2017 eğitim öğretim yılı itibariyle Açıköğretim Fakültesindeki bazı sınavlarda açık uçlu sorular kullanılmaya başlanmış ve bu denli nesnel yargılamaya açık sınavların değerlendirilmesinde yeni yöntemler arayışı içine girilmiştir. Mevcut yöntemlerden en etkililerinden biri de farklı yüzeyleri analize dâhil edebilen Çok Yüzeyli Rasch Modelidir. Bu çalışmada Rasch modelinin geliştirilmiş formu olan çok yüzeyli Rasch analizinin açık uçlu soruların değerlendirilmesi açısından açıköğretim sistemine sağlayacağı katkı açıklanmaktadır.
___
- Atılgan, H., Kan, A., & Doğan, N. (2009). Eğitimde ölçme ve değerlendirme. Anı Yayıncılık.
Bahrouni, F. (2016). usıng multı-facet rasch model (mfrm) ın rater-mediated
assessment. Journal of Teaching English for Specific and Academic Purposes, 4(1), 1,
95-212.
Behizadeh, N., & Engelhard, G. (2014). Development and validation of a scale to measure
perceived authenticity in writing. Assessing Writing, 21, 18-36.
Baştürk, R. (2010). Bilimsel araştırma ödevlerinin çok yüzeyli Rasch ölçme modeli ile
değerlendirilmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(1).
Chapman, J. E., McCart, M. R., Letourneau, E. J., & Sheidow, A. J. (2013). Comparison of
youth, caregiver, therapist, trained, and treatment expert raters of therapist adherence to
a substance abuse treatment protocol. Journal of Consulting and Clinical
Psychology, 81(4), 674.
Çetin, B., & İlhan, M. (2017). An analysis of rater severity and leniency in open-ended
mathematic questions rated through standard rubrics and rubrics based on the SOLO
taxonomy. Eğitim ve Bilim, 42(189).
Eckes, T. (2005). Examining rater effects in TestDaF writing and speaking performance
assessments: A many-facet Rasch analysis. Language Assessment Quarterly: An
International Journal, 2(3), 197-221.
Eckes, T. (2009). Many-facet Rasch measurement. Reference sup
AUAd 2018, Cilt 4, Sayı 1, 61-77 Karakaya Özyer
75
Güler, N. (2014). Analysis of Open-Ended Statistics Questions with Many Facet Rasch
Model. Eurasian Journal of Educational Research, 55, 73-90.
İlhan, M. (2015). Standart ve SOLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu
matematik sorularında puanlayıcı etkilerinin çok yüzeyli Rasch modeli ile incelenmesi
Doctoral dissertation, Doctoral dissertation, Gaziantep University, Gaziantep, Turkey.
Retrieved from https://tez. yok. gov. tr/UlusalTezMerkezi.
Kondo-Brown, K. (2002). A FACETS analysis of rater bias in measuring Japanese second
language writing performance. Language Testing, 19(1), 3-31.
Linacre, J. M. (1989). Multi-faceted Rasch measurement.
Linacre, J. M. (2003). Size vs. significance: Standardized chi-square fit statistic. Rasch
Measurement Transactions, 17(1), 918.
Linacre, J. M. (2004). Rasch model estimation: Further topics. Journal of Applied
Measurement, 5(1), 95-110.
Linacre, J. M., & Wright, B. D. (1994). Chi-square fit statistics. Rasch Measurement
Transactions, 8(2), 350.
Lunz, M. E., Wright, B. D., & Linacre, J. M. (1990). Measuring the impact of judge severity
on examination scores. Applied Measurement in Education, 3(4), 331-345.
Mulqueen, C., Baker, D. P., & Dismukes, R. K. (2002). Pilot instructor rater training: The
utility of the multifacet item response theory model. The International Journal of
Aviation Psychology, 12(3), 287-303.
Myford, C. M., & Wolfe, E. W. (2003). Detecting and measuring rater effects using many
facet Rasch measurement: Part I. Journal of Applied Measurement, 4(4), 386-422.
Reynolds, C. R., Livingston, R. B., & Willson, V. (2009). Measurement and assessment in
education. Columbus, OH: Merrill.
Schumacker, R. E. (1996). Many-Facet Rasch Model Selection Criteria: Examining Residuals
and More.
Swanlund, A. P. (2016). Correcting for Rater Bias in the Presence of Non-Ignorable Missing
Ratings (Doctoral dissertation).
Tan, Ş., & Erdoğan, A. (2005). Öğretimi planlama ve değerlendirme: Öğretim yönetim ve
teknikleri ölçme ve değerlendirme KPSS el kitabı. Pagem yayınları.
Turgut, M. F., & Baykul, Y. (2015). Eğitimde ölçme ve değerlendirme (Yedinci
Baskı). Pegem A yayıncılık, Ankara.
AUAd 2018, Cilt 4, Sayı 1, 61-77 Karakaya Özyer
76
Wolfe, E. W., & Chiu, C. W. (1997). Detecting Rater Effects with a Multi-Faceted Rating
Scale Model.
Yan, X. (2014). An examination of rater performance on a local oral English proficiency test:
A mixed-methods approach. Language Testing, 31(4), 501-527.