MUSTAFA İLHAN, MELEHAT GEZER

5525

Değerlendirme Sorularının Bilişsel Düzeylerinin Tespitinde SOLO ve Revize Edilmiş Bloom Taksonomisi’ne Dayalı Sınıflamaların Güvenirliklerinin Karşılaştırılması

Bu araştırmada, değerlendirme sorularının bilişsel düzeylerinin tespitinde SOLO ve revize edilmiş Bloom taksonomisine (REBT) dayalı sınıflamaların güvenirlikleri karşılaştırılmıştır. Araştırmanın verileri, 2015 yılında Milli Eğitim Bakanlığı tarafından basılan Yedinci Sınıf Sosyal Bilgiler Ders Kitabı ile Yıldırım Yayıncılık tarafından basılan Sekizinci Sınıf Fen ve Teknoloji Ders Kitabındaki değerlendirme sorularının üç uzman tarafından SOLO taksonomisi ve REBT'nin düzeylerine göre incelenmesiyle elde edilmiştir. Elde edilen veriler, değerlendirme sorularının ölçme objesi ve uzmanların yüzey olarak yer aldığı çapraz bir desen ile genellenebilirlik kuramına göre analiz edilmiştir. Çalışmada, değerlendirme sorusu ana etkisine ait varyans yüzdesi SOLO taksonomisine göre yapılan sınıflamalarda daha yüksek bulunmuştur. Uzman ana etkisine ilişkin varyans bileşeni ile artık varyans değerleri ise REBT'de SOLO taksonomisine kıyasla daha yüksek çıkmıştır. Son olarak, REBT ile karşılaştırıldığında, SOLO taksonomisine dayalı sınıflandırmalara ait G ve Phi katsayılarının daha yüksek olduğu saptanmıştır. Bu sonuçlar, değerlendirme sorularının bilişsel düzeylerinin belirlenmesinde SOLO taksonomisinin REBT'ye göre daha güvenilir bir model olduğunu göstermektedir

A Comparison of the Reliability of the SOLO- and Revised Bloom's Taxonomy-Based Classifications in the Analysis of the Cognitive Levels of Assessment Questions

This study aims to compare the reliability of SOLO and revised Bloom's taxonomybased (RBT) classifications in the determination of the cognitive levels of the assessment questions. The data were obtained by three experts' examination of the assessment questions in the Seventh Grade Social Studies Textbook published by the Ministry of National Education and Eight Grade Science and Technology Textbook published by Yıldırım Publishing in 2015. The collected data were analyzed in a crossed design whereby the assessment questions were the object of measurement and the experts were the facet on the basis of the generalizability theory. It was found that the variance percentage of the main effect of the assessment question was found to be higher in the SOLO-based classifications. The variance component related to the experts' main effect and the residual variance values were found to be higher in the RBT than in the SOLO taxonomy. In conclusion, compared to the RBT, the SOLO-based classifications were found to have higher G and Phi coefficients. These results indicate that SOLO taxonomy seems to be more reliable than RBT in the determination of the cognitive level of assessment questions
PDF

___

  • Alkharusi, H. (2012). Generalizability theory: An analysis of variance approach to measurement problems in educational assessment. Journal of Studies in Education, 2(1), 184–196. http://dx.doi.org/10.5296/jse.v2i1.1227.
  • Alsaadi, A. (2011). A comparison of primary mathematics curriculum in England and Qatar: The SOLO taxonomy. Proceedings of the British Society for Research into Learning Mathematics, 21(3). Retrieved from http://www.bsrlm.org.uk/wp-content/uploads/2016/02/BSRLM-IP-21-3-1.pdf.
  • Anderson, G., & Arsenaut, N. (2005). Fundamentals of educational research. London, UK: The Falmer. Anderson, L.W., & Krathwohl, D.R. (2001). A taxonomy for learning teaching and assessing: A revision of Bloom’s taxonomy of educational objectives. New York: Longman.
  • Arı, A. (2013). Bilişsel alan sınıflamasında yenilenmiş Bloom, Solo, Fink, Dettmer taksonomileri ve uluslararası alanda tanınma durumları. Uşak Üniversitesi Sosyal Bilimler Dergisi, 6(2), 259–290. http://dx.doi.org/10.12780/UUSBD164.
  • Atılgan, H. (2004). Genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Unpublished doctoral dissertations, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
  • Atılgan, H. (2005). Genellenebilirlik kuramı ve puanlayıcılar arası güvenirlik için örnek bir uygulama. Eğitim Bilimleri ve Uygulama, 4(7), 95-108.
  • Bağdat, O., & Anapa-Saban, P. (2014). İlköğretim 8. sınıf öğrencilerinin cebirsel düşünme becerilerinin SOLO taksonomisi ile incelenmesi. The Journal of Academic Social Science Studies, 26, 473–496. http://dx.doi.org/10.9761/JASSS2364.
  • Başol, G., Balgalmış, E., Karlı, M.G., & Öz, F.B. (2016). TEOG sınavı matematik sorularının MEB kazanımlarına, TIMSS seviyelerine ve yenilenen Bloom Taksonomisine göre incelenmesi. Uluslararası İnsan Bilimleri Dergisi, 13(3), 5945–5965. http://dx.doi.org/10.14687/jhs.v13i3.4326
  • Bell, J.F. (1985). Generalizability theory: Software problem. Journal of Educational Statistics, 10(1), 19– 29. http://dx.doi.org/10.3102/10769986010001019.
  • Biggs, J.B. (1979). Indıvıdual differences in study processes and the quality of learning outcomes. Higher Education, 8(4), 381–394. http://dx.doi.org/10.1007/BF01680526.
  • Biggs, J.B. (1996). Enhancing teaching through constructive alignment. Higher Education, 32(3), 347– 364. http://dx.doi.org/10.1007/BF00138871.
  • Biggs, J.B., & Collis, K.F. (1982). Evaluating the quality of learning: The SOLO taxonomy. New York: Academic.
  • Biggs, J.B., & Tang, C. (2011). Teaching for quality learning at university. Maidenhead, UK: Open University.
  • Brabrand, C., & Dahl, B. (2009). Using the SOLO-taxonomy to analyze competence progression of university science curricula. Higher Education, 58(4), 531–549. http://dx.doi.org/10.1007/s10734- 009-9210-4.
  • Brennan, R.L. (2001). Generalizability theory. New York: Springer-Verlag.
  • Brennan, R.L. (2003). Coefficients and indices in generalizability theory. CASMA Center for Advanced Studies in Measurements and Assessments. Research Report No.1
  • Briggs, D., & Wilson, M. (2007). Generalizability in item response modeling. Journal of Educational Measurement, 44(2), 131–155. http://dx.doi.org/10.1111/j.1745-3984.2007.00031.x
  • Cansız Aktaş, M. (2014). Nitel veri toplama araçları. In M. Metin (Ed.), Kuramdan uygulamaya eğitimde bilimsel araştırma yöntemleri (pp. 337–371). Ankara: Pegem Akademi.
  • Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. New York, NY: Routledge.
  • Chan, C.C., Tsui, M.S., Mandy, Y.C., & Hong, J.H. (2002). Applying the structure of the observed learning outcomes (SOLO) taxonomy on student's learning outcomes: An empirical study. Assessment and Evaluation in Higher Education, 27(6), 511–527. http://dx.doi.org/10.1080/0260293022000020282.
  • Cronbach, L.J., Gleser, G.C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability of scores and profiles. New York: Wiley.
  • Çalışkan, H. (2011). Öğretmenlerin hazırladığı sosyal bilgiler dersi sınav sorularının değerlendirilmesi. Eğitim ve Bilim, 36(160), 120–132.
  • Çetin, B., Boran, A., & Yazıcı, N. (2014). Fizik eğitiminde başarının ölçülmesinde SOLO taksonomisine göre hazırlanan rubriklerin incelenmesi. Bayburt Eğitim Fakültesi Dergisi, 9(2), 32–71.
  • Çetin, B., & İlhan, M. (2016). SOLO taksonomisi. In E. Bingölbali, S. Arslan, & İ.Ö. Zembat (Ed.), Matematik eğitiminde teoriler (pp. 861–879). Ankara: Pegem Akademi.
  • Demirel, Ö. (2012). Kuramdan uygulamaya eğitimde program geliştirme. Ankara: Pegema.
  • Dindar, H., & Demir, M. (2006). Beşinci sınıf öğretmenlerinin fen bilgisi dersi sınav sorularının Bloom taksonomisine göre değerlendirilmesi. Gazi Eğitim Fakültesi Dergisi, 26, 87–96.
  • Doğan, N. (2002). Klasik test teorisi ve örtük özellikler kuramının örneklemeler bağlamında karşılaştırılması. Unpublished doctoral dissertations, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
  • Erkuş, A. (2011). Davranış bilimleri için bilimsel araştırma süreci. Ankara: Seçkin Yayıncılık.
  • Fensham, P., & Bellocchi, A. (2013). Higher order thinking in chemistry curriculum and ıts assessment. Thinking Skills and Creativity, 10, 250–264. http://dx.doi.org/10.1016/j.tsc.2013.06.003
  • Gezer, M., & İlhan, M. (2014). 8. Sınıf vatandaşlık ve demokrasi eğitimi dersi kazanımları ile değerlendirme sorularının SOLO taksonomisine göre incelenmesi. Doğu Coğrafya Dergisi, 19(32), 193–207. http://dx.doi.org/10.17295/dcd.88376.
  • Gezer, M., & İlhan, M. (2015). Sosyal bilgiler dersi öğretim programı kazanımları ile ders kitabı değerlendirme sorularının SOLO taksonomisine göre incelenmesi. Sakarya Üniversitesi Eğitim Fakültesi Dergisi, 29, 1–25.
  • Göçer, A., & Kurt, A. (2016). Türkçe dersi öğretim programı 6, 7 ve 8. sınıf sözlü iletişim kazanımlarının SOLO taksonomisine göre incelenmesi. Bitlis Eren Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5, 215–228.
  • Gökler, Z.S., Aypay, A. & Arı, A. (2012). İlköğretim İngilizce dersi hedefleri kazanımları SBS soruları ve yazılı sınav sorularının yeni Bloom taksonomisine göre değerlendirilmesi. Eskişehir Osmangazi Üniversitesi Eğitimde Politika Analizi Dergisi, 1(2), 114–133.
  • Güler, N., Kaya Uyanık, G., & Taşdelen Teker, G. (2012). Genellenebilirlik Kuramı. Ankara: Pegem Akademi.
  • Güler N., & Taşdelen Teker, G. (2015). Açık uçlu maddelerde farklı yaklaşımlarla elde edilen puanlayıcılar arası güvenirliğin değerlendirilmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(1), 12–24. http://dx.doi.org/10.21031/epod.63041.
  • Hathcoat J.D., & Penn, J.D. (2012). Generalizability of student writing across multiple tasks: A challenge for authentic assessment. Research and practice in assessment, 7, 16-28.
  • Hattie, J. A., & Purdie, N. (1994). Using the SOLO taxonomy to classify test items. Unpublished manuscript, University of Western Australia, Graduate School of Education, Perth, Aus.
  • Huang, J. (2009). Factors affecting the assessment of ESL students’ writing. International Journal of Applied Educational Studies, 5(1), 1–17.
  • İlhan, M., & Çetin, B. (2016). The identification of the views of raters on standard rubrics and rubrics based on the SOLO taxonomy. Eğitimde Kuram ve Uygulama, 12(1), 1–16.
  • Jones, B.L., Collis, K.F., & Watson, J.M. (1993). Towards a theoretical basıs for students' alternative frameworks in science and for scıence teaching. Research in Science Education, 23, 126–135. http://dx.doi.org/10.1007/BF02357053.
  • Karasar, N. (2009). Bilimsel Araştırma Yöntemi. Ankara: Nobel.
  • Krathwohl, D.R. (2002). A revision of Bloom's taxonomy: An overview. Theory into Practice, 41(4), 212– 218. http://dx.doi.org/10.1207/s15430421tip4104_2.
  • Kumar, R. (2008). Research methodology. New Delhi: Balaji Offset.
  • Kumazawa, T. (2009). Revision of a criterion-referenced vocabulary test using generalizability theory. Japan Association for Language Teaching (JALT), 31(1), 81–100.
  • Leung, C.F. (2000). Assessment for learning: Using SOLO taxonomy to measure design performance of design & technology students. International Journal of Technology and Design Education, 10(2), 149– 161. http://dx.doi.org/10.1023/A:1008937007674.
  • Lucas, U., & Mladenovic, R. (2009). The identification of variation in students’ understandings of disciplinary concepts: The application of the SOLO taxonomy within introductory accounting. Higher Education, 58(2), 257–283. http://dx.doi.org/10.1007/s10734-009-9218-9.
  • Mabe, M. (2013). Progress monitoring for prerequisite social skills: A generalizability study for measure development. Unpublieshed master thesis, University of Rhode Island, Rhode Island, ABD.
  • Milli Eğitim Bakanlığı. (2015). İlköğretim sosyal bilgiler 7. sınıf ders kitabı. Ankara: Devlet Kitapları Müdürlüğü Basımevi.
  • Murray, R.P. (1984, July). Application of generalizability theory in the development of quality of care measurement. Paper presented at the Third International Conference on System Science in Health Care, Munih. http://dx.doi.org/10.1007/978-3-642-69939-9_198.
  • Mushquash, C., & O’Connor, B.P. (2006). SPSS and SAS Programs for generalizability theory analyses.
  • Behavior Research Methods, 38(3), 542–547. http://dx.doi.org/10.3758/BF03192810. Näsström, G. (2008). Measurement of alignment between standards and assessment. Retrieved from http://umu.diva-portal.org/smash/get/diva2:142244/FULLTEXT01.
  • Özdemir, A.S., & Göktepe-Yıldız, S. (2015). The analysis of elementary mathematics preservice teachers’ spatial orientation skills with SOLO model. Eurasian Journal of Educational Research, 61, 217–236. http://dx.doi.org/10.14689/ejer.2015.61.12.
  • Pegg, J., & Tall, D. (2004, December). Fundamental cycles in learning algebra: An analysis. Paper presented to the 12th ICMI Study Conference on the Future of the Teaching and Learning of Algebra. Melbourne, Australia.
  • Peter, F., & Alberto, B. (2013). Higher order thinking in chemistry curriculum and its asessment. Thinking Skills and Creativity, 10, 250–264. http://dx.doi.org/10.1016/j.tsc.2013.06.003.
  • Renkl, A. (2003). The dependability of test scores: Generalizability theory and hierarchical models. In D.
  • Leclercq, and J.E. Bruno (Eds.), Item banking: Interactive testing and self-assessment (pp. 167–176). Berlin: Springer.
  • Shavelson, R.J., & Webb, N.M. (1991). Generalizability Theory: A primer. California: Sage.
  • Sönmez, V. (2001). Program geliştirmede öğretmen elkitabı. Ankara: PegemA.
  • Stora, B., Hagtvet, K.A., & Heyerdahl, S. (2013). Observations of families in structured interactions: Parenting therapists provide reliable ratings of mothers' parenting. Personality and Social Psychology, 23(4), 448–463. http://dx.doi.org/10.1080/10503307.2012.733830.
  • Sun, A., Valiga, M.J., & Gao, X. (1997). Using generalizability theory to assess the reliability of student ratings of academic advising. The Journal of Experimental Education, 65(4), 367–379. http://dx.doi.org/10.1080/00220973.1997.10806611.
  • Tarman, B., & Kuran, B. (2015). Examination of the cognitive level of questions in social studies textbooks and the views of teachers based on Bloom taxonomy. Kuram ve Uygulamada Eğitim Bilimleri, 15(1), 213–222. http://dx.doi.org/10.12738/estp.2015.1.2625.
  • Taylor, M.A., & Pastor, D.A. (2013). An application of generalizability theory to evaluate the technical quality of an alternate assessment. Applied Measurement in Education, 26(4), 279–297, http://dx.doi.org/10.1080/08957347.2013.824450.
  • Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı.
  • Thompson, J.G. (2012). First year teacher's survival guide: Ready to use strategies, tools & activities for meeting the challenges of each school day. San Francisco, CA: Josse-Bass.
  • Turgut, M.F., & Baykul Y. (2012). Eğitimde ölçme ve değerlendirme. Ankara: PegemA.
  • Webb, N.M., Rowley, G.L., & Shavelson, R.J. (1988). Using generalizability theory in counseling and development. Measurement and Evaluation in Counseling and Development, 21, 81-90.
  • Webb, N.M., Shavelson, R.J, & Haertel, E.H. (2006). Reliability coefficients and generalizability theory. In C. R. Rao and S. Sinharay (Eds.), Handbook of Statistics: Psychometrics, 26, 81–124. Amsterdam: Elsevier B. V. http://dx.doi.org/10.1016/S0169-7161(06)26004-8.
  • Yanmaz, E. (Ed.). (2015). İlköğretim fen ve teknoloji dersi 8. sınıf ders kitabı. Ankara: Yıldırım.
  • Yıldırım, A., & Simşek H. (2011). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin.
  • Zorluoğlu, S.L., Kızılaslan, A., & Sözbilir, M. (2016). Ortaöğretim kimya dersi öğretim programı kazanımlarının yapılandırılmış Bloom taksonomisine göre analizi ve değerlendirilmesi. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi (EFMED), 10(1), 260–279. http://dx.doi.org/10.17522/nefefmed.22297.
Pegem Eğitim ve Öğretim Dergisi-Cover
  • ISSN: 2146-0655
  • Başlangıç: 2011
  • Yayıncı: Pegem Akademi Yayıncılık Eğitim Danışmanlık Hizmetleri Tic. Ltd. Şti.
Arşiv
Sayıdaki Diğer Makaleler

An Investigation of Prospective Science Teachers’ Socio-scientific Argumentation Processes in Terms of Metacognition: A Causal- Comparative Study

AYŞE ÖZTÜRK

Öğretmen Adaylarının Mesleğe Yönelik Tutumları ile Öğretme-Öğrenme Süreci Yeterlikleri Arasındaki İlişkinin İncelenmesi

Hasan ZÖĞ, HASAN HÜSEYİN ŞAHAN

Değerlendirme Sorularının Bilişsel Düzeylerinin Tespitinde SOLO ve Revize Edilmiş Bloom Taksonomisi’ne Dayalı Sınıflamaların Güvenirliklerinin Karşılaştırılması

MUSTAFA İLHAN, MELEHAT GEZER

Effectiveness of Web-Based Problem-Based School Administrator Training Program and its Effect on Participants' Attitudes towards Web- Based Learning

Songül KARABATAK A, MUHAMMED TURHAN

Tense, Aspect and Narrative Structure in Oral Narratives of Students and Native Speakers of French: A Comparative Study

MUSTAFA MAVAŞOĞLU

Adaptation of Online Privacy Concern Scale into Turkish Culture

TURGAY ALAKURT