Mustafa İLHAN, Gülşen TAŞDELEN TEKER, Neşe GÜLER

İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması

Bu araştırmada, ikili karşılaştırmalarla ölçekleme yöntemi ile Rasch analizinden elde edilen ölçek değerlerinin karşılaştırılması amaçlanmıştır. Araştırma 2015-2016 öğretim yılı bahar döneminde 185 üniversite öğrencisi üzerinde yürütülmüştür. Çalışmanın verileri iki adımda toplanmıştır. Birinci adımda katılımcılardan ölçme ve değerlendirme dersi kapsamında işlenen altı konuyu ikişerli karşılaştırmaları ve karşılaştırdıkları iki konudan hangisinin kendileri için daha zor olduğunu bildirmeleri istenmiştir. Bu şekilde toplanan veriler üzerinden ikili karşılaştırmalarla ölçekleme çalışması yürütülmüştür. İkinci adımda, katılımcıların aynı altı konuyu güçlük düzeyleri bakımından kolay, orta ve zor şeklinde derecelemeleri istenmiştir. Bu uygulamadan elde edilen veriler ise Rasch modeline göre analiz edilmiştir. Araştırmada, konuların güçlük düzeyleri için ikili karşılaştırmalarla ölçekleme yöntemi ve Rasch analizi sonucunda ulaşılan sıralamaların aynı olduğu görülmüştür. Sıralamanın yanı sıra konuların güçlük düzeylerine ilişkin eşit aralıklı ölçek düzeyinde hesaplanan değerlerin birbirlerine yakınlığı/uzaklığı da her iki yöntemde aynı çıkmıştır. Bu sonuçlar, ikili karşılaştırmalarla ölçekleme yönteminde ve Rasch analizinde hesaplanan ölçek değerlerinin tutarlı olduğunu ortaya koymaktadır.

Anahtar Kelimeler:

Thurstone, ikili karşılaştırmalarla ölçekleme, Rasch analizi, eşit aralıklı ölçek

Comparing the Scale Values Obtained from Pairwise Comparison Scaling Method and Rasch Analysis

This study aims to compare the scale values obtained from pairwise comparison scaling method and Rasch Analysis. The study was conducted with 185 university students in the Spring Semester of 2015-2016 academic year. The data were collected in two stages. At the first stage, the participants were asked to make a pairwise comparison of six subjects taught in the Measurement and Evaluation course and to say which one was more difficult for them. Using the data collected in this way, scaling was performed through pairwise comparisons. At the second stage, the participants were asked to grade the six subjects as easy, medium and difficult by taking the difficulty levels of the subjects into consideration. The data obtained from this application were analyzed according to the Rasch model. It was observed that the ordering made in relation to the difficulty levels of the subjects through pairwise comparison method and through Rasch analysis was the same. Besides ordering, the closeness of the difficulty levels of the subjects were also found similar in both methods. These results demonstrate that the scaling values calculated in pairwise comparison scaling method and in Rasch analysis are compatible.

Keywords:

Thurstone, scaling with pairwise comparison, Rasch analysis, interval scale,

PDF

___

Akın Arıkan, Ç., Uğurlu, S., & Atar, B. (2016). MIMIC, SIBTEST, lojistik regresyon ve Mantel-Haenszel yöntemleriyle gerçekleştirilen DMF ve yanlılık çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(1), 34-52. http://dx.doi.org/10.16986/HUJE.2015014226
Andrich, D. (1978a). A rating formulation for ordered response categories. Psychometrika, 43(9), 561-573. http://dx.doi.org/10.1007/BF02293814
Andrich, D. (1978b). Relationships between the Thurstone and Rasch approaches to item scaling. Applied Psychological Measurement, 2(3), 449-460. http://dx.doi.org/10.1177/014662167800200319
Anıl, D., Ertuna, L., & Uysal, İ. (2015). Türkiye’deki araştırma görevlilerinin mesleki sorunlarının ikili karşılaştırma yoluyla ölçeklenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(2), 279-292. http://dx.doi.org/10.21031/epod.14618
Anıl, D., & Güler, N. (2006). İkili karşılaştırmalar yöntemi ile ölçekleme çalışmasına bir örnek. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30, 30-36. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/722-published.pdf adresinden edinilmiştir.
Arık, R.S., & Kutlu, Ö. (2013). Öğretmenlerin ölçme ve değerlendirme alanı yeterliklerinin yargıcı kararlarına dayalı ölçeklenmesi. Eğitim Bilimleri Araştırmaları Dergisi, 3(2), 163-196. http://dx.doi.org/10.12973/jesr.2013.3210a
Atılgan, H. (2004). Genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Yayınlanmamış Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
Atılgan, H. (Ed.). (2013). Eğitimde ölçme ve değerlendirme. Ankara: Anı.
Bahar, M., Nartgün, Z., Durmuş, S., & Bıçak, B. (2010). Geleneksel-tamamlayıcı ölçme ve değerlendirme teknikleri. Ankara: Pegem Akademi.
Baker, F.B. (2001). The basics of item response theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.
Başol, G. (2013). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
Baykul, Y. (1996). İstatistik metotlar ve uygulamalar. Ankara: Lazer Ofset.
Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: Pegem Akademi.
Brentari, E., & Golia, S. (2008). Measuring job satisfaction in the social services sector with the Rasch model. Journal of Applied Measurement, 9(1), 45-56. Retrieved from https://www.researchgate.net/publication/5668940_Measuring_job_satisfaction_in_the_social_services_sector_with_the_Rasch_model.
Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Florida: Holt, Rinehart and Winston. Çıkrıkçı Demirtaşlı, N. (Ed.). (2012). Eğitimde ölçme ve değerlendirme. Ankara: Öz Baran Ofset.
DeMars, C. (2010). Item response theory. Oxford, UK: Oxford University.
Doğan, N. (2002). Klasik test teorisi ve örtük özellikler kuramının örneklemeler bağlamında karşılaştırılması. Yayınlanmamış Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
Doğan, N., & Öğretmen, T. (2008). Değişen madde fonksiyonunu belirlemede Mantel Haenszel, ki‐kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35(156), 3-16. http://egitimvebilim.ted.org.tr/index.php/EB/article/viewFile/679/130 adresinden edinilmiştir.
Engelhard, G. (1984). Thorndike, Thurstone, and Rasch: A comparison of their methods of scaling psychological and educational tests. Applied Psychological Measurement, 8(1), 21-38. http://dx.doi.org/10.1177/014662168400800104
Erkuş, A. (2012). Psiklojide ölçme ve ölçek geliştirme-I. Ankara: Pegem Akademi.
Ertoprak, D.G. (2015). Üniversite tercihlerinde etkili olabilecek özellikleri belirlemeye yönelik bir ölçekleme çalışması. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 4(2), 153-174. http://dx.doi.org/10.17539/aej.96310
Gömleksiz, M., & Erkan, S. (Ed.). (2010). Eğitimde ölçme ve değerlendirme. Ankara: Nobel.
Güler, N. (2012). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
Güler, N., & Anıl, D. (2009). Scaling through pair-wise comparison method in required characteristics of students applying for post graduate programs. International Journal of Human Sciences, 6(1), 627-639. Retrieved from https://j-humansciences.com/ojs/index.php/IJHS/article/download/673/365.
Hall, R. (2008). Applied social research: Planning, designing and conducting real-world research. South Yarra, Australia: Palgrave Macmillan.
Jackson, S. (2008). Research methods: A modular approach. Belmont, CA: Thompson Wadsworth.
Jansen, P.G.W. (1984). Relationships between the Thurstone, Coombs, and Rasch approaches to item scaling. Applied Psychological Measurement, 8(4), 373-383. http://dx.doi.org/10.1177/014662168400800401
Johnson, B., & Christensen, L. (2014). Educational research: Quantitative, qualitative, and mixed approaches. Thousand Oaks, CA: Sage.
Kan, A. (2008a). Yargıcı kararlarına dayalı ölçekleme yöntemlerinin karşılaştırılması üzerine ampirik bir çalışma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 35, 186-194. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/552-published.pdf adresinden edinilmiştir.
Kan, A. (2008b). Psikolojik değişkenleri ölçmek için kullanılan ölçekleme yaklaşımları üzerine bir karşılaştırma. Eğitimde Kuram ve Uygulama, 4(1), 2-18. http://eku.comu.edu.tr/article/download/1044000044/1044000127 adresinden edinilmiştir.
Köse, İ.A., & Öztemur, B. (2014). Kayıp veri ele alma yöntemlerinin t-testi ve anova parametreleri üzerine etkisinin incelenmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 14(1), 400-412. http://dx.doi.org/10.17240/aibuefd.2014.14.1-5000091519
Linacre, J.M. (1989). Many-facet Rasch measurement. Chicago: MESA.
Linacre, J.M. (2002). Optimizing rating scale category effectiveness. Journal of Applied Measurement, 3(1), 85-106. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.424.2811&rep=rep1&type=pdf.
Linacre, J.M. (2012). Many-facet Rasch measurement: Facets tutorial. Retrieved from http://www.winsteps.com/a/ftutorial2.pdf.
Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. Retrieved from http://www.winsteps.com/a/facets-manual.pdf.
Lunz, M.E., & Stahl, J.A. (1990, April). Severity of grading across time periods. Paper presented at the Annual Meeting of the American Educational Research Association, Boston. Retrieved from http://files.eric.ed.gov/fulltext/ED317602.pdf.
Lunz, M.E., Wright, B.D., & Linacre, J.M. (1990). Measuring the impact of judge severity on examination scores. Applied Measurement in Education, 3(4), 331-345. http://dx.doi.org/10.1207/s15324818ame0304_3
Martella, R.C., Nelson, J.R., Morgan, R.L., & Marchand Martella, N.E. (2013). Understanding and interpreting educational research. New York: The Guilford.
Masters, G.N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149-174. http://dx.doi.org/10.1007/BF02296272
Myford, C.M., & Wolfe, E.W. (2003). Detecting and measuring rater effects using many-facet Rasch measurement: Part I. Journal of Applied Measurement, 4(4), 386-422. Retrieved from https://www.researchgate.net/publication/9069043_Detecting_and_Measuring_Rater_Effects_Using_Many-Facet_Rasch_Measurement_Part_I.
Nakamura, N. (2002). Teacher assessment and peer assessment in practice. Educational Studies, 44, 143. 204-215. Retrieved from https://ia800200.us.archive.org/4/items/ERIC_ED464483/ERIC_ED464483.pdf.
O’Neill, T.R., & Lunz, M.E. (1996, April). Examining the invariance of rater and project calibrations using a multi-facet Rasch model. Paper
Presented at the Annual Meeting of the American Educational Research Association, New York. Retrieved from http://files.eric.ed.gov/fulltext/ED398284.pdf.
Polat, B., & Göksel, H.G. (2014). Öğretmen adaylarının sosyal aktivite tercihlerinin ikili karşılaştırmalı ölçekleme yöntemiyle belirlenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 88-100. http://epodder.dergipark.gov.tr/download/article-file/65953 adresinden edinilmiştir.
Powell, R.R. (1997). Basic research methods for librarians. Greenwich, CT: Ablex.
Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen, Denmark: Danish Institute for Educational Research.
Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465-493. http://dx.doi.org/10.1177/0265532208094273
Sudweeks, R.R., Reeve, S., & Bradshaw, W.S. (2005). A comparison of generalizability theory and many-facet Rasch measurement in an analysis of college sophomore writing. Assessing Writing, 9(3), 239-261. http://dx.doi.org/10.1016/j.asw.2004.11.001
Şahin Kürşad & Nartgün (2015). Kayıp veri sorununun çözümünde kullanılan farklı yöntemlerin ölçeklerin geçerlik ve güvenirliği bağlamında karşılaştırılması. Eğitimde ve psikolojide ölçme ve değerlendirme dergisi, 6(2), 25-267. http://dx.doi.org/10.21031/epod.95917
Tan, Ş. (2015). Öğretimde ölçme ve değerlendirme KPSS el kitabı. Ankara: Pegem Akademi.
Tekindal, S. (2009). Duyuşsal özelliklerin ölçülmesi için araç oluşturma. Ankara: Pegem Akademi.
Thurstone, L.L. (1927). A law of comparative judgment. Psychological Review, 34(4), 273-286. http://dx.doi.org/10.1037/h0070288
Torgerson, W.S. (1958). Theory and methods of scaling. Newyork: John Wiley & Sons Inc.
Turgut, M.F., & Baykul, Y. (1992). Ölçekleme teknikleri. Ankara: ÖSYM.
Wainer, H., Fairbank, D.T., & Hough, R.L. (1978). Predicting the impact of simple and compound life change events. Applied Psychological Measurement, 2(3), 311-320. http://dx.doi.org/10.1177/014662167800200301
Walker, E.R., Engelhard, G., & Thompson, N.J. (2012). Using Rasch measurement theory to assess three depression scales among adults with epilepsy. Seizure, 21(6), 437-443. http://dx.doi.org/10.1016/j.seizure.2012.04.009
Wright, B.D. & Linacre, J.M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8, 370. Retrieved from http://www.rasch.org/rmt/rmt83b.htm.
Wright, B.D. & Masters, G. (1982). Rating scale analysis: Rasch measurement. Chicago: MESA.