PISA 2009 Uygulamasına Katılan Ülkelerin Okuma Becerileri Alt Test Sonuçlarının Profil Analizi ile Değerlendirilmesi

Bu araştırmanın amacı, Uluslararası Öğrenci Değerlendirme Programı (Programme for International Student Assessment, -PISA-) 2009 uygulamasına katılan ülkelerdeki öğrencilerin, okuma becerileri alt testindeki genel ortalama puanları üzerinde gözden kaçması muhtemel olan özelliklerini belirlemek ve ele alınan madde kategorileri çerçevesindeki güçlü ve zayıf yanlarını ortaya koymaktır. Araştırmanın örneklemini PISA 2009 uygulamasına katılan 15 yaş grubu öğrenciler oluşturmaktadır. Araştırmada, PISA 2009 uygulamasına katılan ülkelerin okuma becerileri alt testindeki madde formatı, metnin şekli ve metnin zihinsel süreç düzeyi boyutları çerçevesindeki performansları profil analizi tekniği ile incelenerek, ülkeler arası karşılaştırmalar yapılmıştır. Elde edilen dikkat çekici bulgular ilgili alan yazın ile desteklenerek tartışılmıştır. Araştırma kapsamında; PISA uygulamalarına katılan ülkelerin ortalama puanlarına göre değerlendirilmesinin, madde kategorileri düzeyinde ülkelere özgü birtakım önemli bilgilerin göz ardı edilmesine neden olduğu ve yeni bir yaklaşım olan profil analizinin bu bilgileri ortaya çıkarmak amacıyla kullanılabileceği sonucuna ulaşılmıştır

Evaluation of Reading Skills Subtest Results of Countries Participating in the PISA 2009 Application via Profile Analysis *

The purpose of this research is to determine the characteristics possibly went unnoticed over general average scores in reading skills subtest of students in countries attending the Programme for International Student Assessment, PISA in 2009, and to reveal their strengths and weaknesses within the framework of item categories in question. The sample of this research constitutes of students in 15-years-old group participating in the PISA 2009 application. In the study, performances of countries participating in the PISA 2009 application within the framework of item format, text format and cognitive process level of the text in reading skills subtest have been analyzed using the profile analysis technique and intercountry comparisons are made. Obtained remarkable findings are discussed in accordance with the related literature. Within the scope of the research, it has been concluded that evaluating countries participating in the PISA application as per their average scores results in ruling out important country-specific information at item categories level, and that it is possible to employ profile analysis, as a new approach, with a view to reveal such information.

PDF

___

Acar, T. (2012). Türkiye'nin PISA 2009 sonuçlarına göre OECD'ye üye ve aday ülkeler arasındaki yeri. Kuram ve Uygulamada Eğitim Bilimleri, 12(4), 2561-2572.
Acar, T. ve Öğretmen, T. (2012). Çok düzeyli istatistiksel yöntemler ile 2006 PISA fen bilimleri performansının incelenmesi. Eğitim ve Bilim, 37(163), 178-189.
Anıl, D. (2009). Uluslararası Öğrenci Başarılarını Değerlendirme Programı (PISA)'nda Türkiye'deki öğrencilerin fen bilimleri başarılarını etkileyen faktörler. Eğitim ve Bilim, 34(152), 87-100.
Armstrong, T. (2009). Multiple intelligences in the classroom (3. bs.). USA: Association for Supervision and Curriculum Development.
Aşıcı, M., Baysal, Z. N. ve Şahenk Erkan, S. S. (2012). Türkiye'de yapılan 2009 PISA ve Seviye Belirleme Sınavı'ndaki (SBS) okuma becerileri sorularının karşılaştırılması. Eğitim ve Öğretim Araştırmaları Dergisi, 1(2), 210-217.
Ayan, C. (2011). PISA 2009 fen okuryazarlığı alt testinin değişen madde fonksiyonu açısından incelenmesi (Yayımlanmamış yüksek lisans tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
Aydın, A., Erdağ, C. ve Taş, N. (2011). 2003-2006 PISA okuma becerileri sonuçlarının karşılaştırmalı olarak değerlendirilmesi: En başarılı beş ülke ve Türkiye. Kuram ve Uygulamada Eğitim Bilimleri Dergisi, 11(2), 651-673.
Aydın, A., Sarıer, Y. ve Uysal, Ş. (2012). Sosyoekonomik ve sosyokültürel değişkenler açısından PISA matematik sonuçlarının karşılaştırılması. Eğitim ve Bilim, 37(164), 20-30.
Aydoğdu İskenderoğlu, T. ve Baki, A. (2011). İlköğretim 8. sınıf matematik ders kitabındaki soruların PISA matematik yeterlik düzeylerine göre sınıflandırılması. Eğitim ve Bilim, 36(161), 287-301.
Aydoğdu İskenderoğlu, T., Erkan, İ. ve Serbest, A. (2013). 2008-2013 yılları arasındaki SBS matematik sorularının PISA matematik yeterlik düzeylerine göre sınıflandırılması. Turkish Journal of Computer and Mathematics Education, 4(2), 147-168.
Baker, F. B. (2001). The basics of item response theory. United States: ERIC.
Balım, A. G., Evrekli, E., İnel, D. ve Deniş, H. (2009). Türkiye'nin PISA 2006'daki durumu üzerine bir inceleme: Fen bilimleri yeterlilik düzeyinin bilgi ve iletişim teknolojilerinin kullanımına göre değerlendirilmesi. E-Journal of New World Sciences Academy Education Sciences, 4(3), 1053-1066.
Baş, G. (2013). Amerika Birleşik Devletleri eğitim sistemi: Karşılaştırmalı bir çalışma. Journal of Educational Sciences, 1, 63-93.
Bayat, N., Şekercioğlu, G. ve Bakır, S. (2014). Okuduğunu anlama ve fen başarısı arasındaki ilişkinin belirlenmesi. Eğitim ve Bilim, 39(176), 457-466.
Baykul Y. ve Güzeller, C. O. (2013). Sosyal bilimler için istatistik SPSS uygulamalı. Ankara: Pegem Akademi.
Beaton, A. E., Postlethwaite, T. N., Ross, K. N., Spearritt, D. ve Wolf, R. M. (1999). The benefits and limitations of international educational achievement studies. Paris: International Institute for Educational Planning.
Brozo, W. G., Shiel, G. ve Topping, K. (2007). Engagement in reading: Lessons learned from three PISA countries. International Reading Association, 51(4), 304-315.
Büyüköztürk, Ş., Çokluk, Ö. ve Köklü, N. (2011). Sosyal bilimler için istatistik (8. bs.). Ankara: Pegem Akademi.
Coşkun, Y. K. (2013). Türkçe ders kitaplarının PISA sınavı okuma ölçütleri açısından incelenmesi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 26, 22-43.
Crocker, L. ve Algina, J. (2008). Introduction to Classical and Modern Test Theory. Ohio: Cengage Learning.
Cromley, J. G. (2009). Reading achievement and science proficiency: International comparisons from the Programme on International Student Assessment. Reading Psychology, 30, 89-118.
De Ayala, R. J. (2009). The theory and practice of item response theory. United States: The Guilford Press.
De Gruijter, D. N. M. ve Van der Kamp, L. J. T. (2008). Statistical test theory for the behavioral sciences. United States: Chapman & Hall.
Delil, A. ve Yolcu Tetik, B. (2015). 8. sınıf merkezi sınavlardaki matematik sorularının TIMSS-2015 bilişsel alanlarına göre analizi. Celal Bayar Üniversitesi Sosyal Bilimler Dergisi, 13(4), 165-184.
DeMars, C. (2010). Item Response Theory-Understanding statistics measurement. United States: Oxford University Press, Inc.
Demir, E. (2010). Uluslararası Öğrenci Değerlendirme Programı (PISA) bilişsel alan testlerinde yer alan soru tiplerine göre Türkiye'de öğrenci başarıları (Yayımlanmamış yüksek lisans tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
Demir, İ. ve Kılıç, S. (2010). Öğrencilerin matematik başarısını etkileyen faktörlerin PISA 2003 kullanılarak incelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 38, 44-54.
Eğitim Reformu Girişimi. (2005). Yeni öğretim programlarını inceleme ve değerlendirme raporu. İstanbul: İstanbul Politikalar Merkezi.
Eğitim Reformu Girişimi. (2011). Eğitim izleme raporu 2010. İstanbul: İstanbul Politikalar Merkezi.
Embretson, S. E. ve Reise, S. P. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates.
Erbaş, A. K., Alacacı, C. ve Bulut, M. (2012). Türk, Singapur ve Amerikan ders kitaplarının bir karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri, 12(3), 2311-2330.
Göktaş, Ö. ve Gürbüztürk, O. (2012). Okuduğunu anlama becerisinin ilköğretim ikinci kademe matematik dersindeki akademik başarıya etkisi. Uluslararası Eğitim Programları ve Öğretim Çalışmaları Dergisi, 2(4), 52-66.
Guo, Y. (2014). Cross-cultural comparison of the school factors affecting students' achievement in mathematical literacy: Based on the multilevel analysis of PISA 2012. China Examinations, 10.
Güner, N. (2015). 6.-8. sınıf matematik ders kitaplarındaki geometri, veri ve olasılık sorularının TIMSS bilişsel düzeylerine göre sınıflandırılması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 37(1), 77- 90.
Hambleton, R. K. ve Swaminathan, H. (1985). Item Response Theory: Principles and applications (2. bs.). Boston: Academic Publishers Group.
Hambleton, R. K., Swaminathan, H. ve Rogers, H. J. (1991). Fundamentals of Item Response Theory (1. bs.). London: Sage Publication.
İş Güzel, Ç. (2006). Uluslararası öğrenci değerlendirme programında (PISA 2003) insan ve fiziksel kaynakların öğrencilerin matematik okur yazarlığına olan etkisinin kültürler arası karşılaştırılması (Yayımlanmamış doktora tezi). Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Ankara.
Kjærnsli, M. ve Lie, S. (2004). PISA and scientific literacy: Similarities and differences between the nordic countries. Scandinavian Journal of Educational Research, 48(3), 271-286.
Klieme, E. ve Baumert, J. (2001). Identifying national cultures of mathematics aducation: Analysis of cognitive demands and differential item functioning in TIMSS. European Journal of Psychology of Education, 16(3), 385-402.
Köse, İ. A. (2010). Madde Tepki Kuramı'na dayalı tek boyutlu ve çok boyutlu modellerin test uzunluğu ve örneklem büyüklüğü açısından karşılaştırılması (Yayımlanmamış doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Le, L. T. (2009). Investigating gender differential item functioning across countries and test languages for PISA science items. International Journal of Testing, 9(2), 122-133.
Lin, E. ve Shi, Q. (2014). Exploring individual and school-related factors and environmental literacy: Comparing U.S. and Canada using PISA 2006. International Journal of Science and Mathematics Education, 12(1), 73-97.
Liu, O. L. ve Wilson, M. (2009). Gender differences in large-scale math assessments: PISA trend 2000 and 2003. Applied Measurement in Education, 22(2), 164-184.
Lord, F. M. (1980). Applications of item response theory to practical testing problems. Unites States: Lawrence Erlbaum Associates, Inc.
Lyons-Thomas, J., Sandilands, D. ve Ercikan, K. (2014). Gender differantial item functioning in mathematics in four international jurisdictions. Education and Science, 39(172), 20-32.
Milli Eğitim Bakanlığı. (2010). PISA 2009 Öğrenci Başarılarını Değerlendirme Programı ulusal ön raporu. Ankara: Eğitimi Araştırma ve Geliştirme Dairesi.
Milli Eğitim Bakanlığı. (2012). PISA Türkiye. Ankara: Yenilik ve Eğitim Teknolojileri Genel Müdürlüğü.
National Education Association. (2012). Preparing 21st century students for a global society, an educator's guide to the "Four Cs". USA: NEA Publishing. http://www.nea.org/tools/52217.htm adresinden erişildi.
Ning, B., Van Damme, J., Gielen, S., Vanlaar, G. ve den Noortgate, W. V. (2016). What makes the difference in reading achievement? Comparisons between Finland and Shanghai. Scandinavian Journal of Educational Research, 60(5), 515-537.
OECD. (2009). PISA 2009 assessment framework: Key competencies in reading, mathematics and science. Paris: OECD Publications.
OECD. (2011). Lessons from PISA for the United States, strong performans and successful reformers in education. Paris: OECD Publications.
OECD. (2012). PISA 2009 technical report. Paris: OECD Publications.
Osterlind, S. J. (2002). Constructing test items: Multiple-choice, constructed-response, performance and other formats. Boston: Kluwer Academic Publishers.
Özer Özkan, Y. (2012). Öğrenci Başarılarının Belirlenmesi Sınavından (ÖBBS) Klasik Test Kuramı, tek boyutlu ve çok boyutlu Madde Tepki Kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması (Yayımlanmamış doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Reckase, M. D. (2009). Multidimensional Item Response Theory. New York: Springer.
Rodriguez, M. C. (2002). Choosing an item format. G. Tindal ve T. M. Haladyna (Ed.). Large-scale assessment programs for all students: Validity, technical adequacy and implementation içinde (s. 213-232). New Jersey: Lawrence Erlbaum Associates, Inc.
Savran, N. Z. (2004). PISA projesinin Türk eğitim sistemi açısından değerlendirilmesi. Türk Eğitim Bilimleri Dergisi, 2(4), 397-414.
Schleicher, A. (2007). Can competencies assessed by PISA be considered the fundamental school knowledge 15-year-olds should possess? Journal of Educational Change, 8(4), 349-357.
Simola, H. (2005). The Finnish miracle of PISA: Historical and sociological remarks on teaching and teacher education. Comparative Education, 41(4), 455-470.
Soh, K. (2014). Finland and Singapore in PISA 2009: Similarities and Differences in Achievements and school management. Compare: A Journal of Comparative and International Education, 44(3), 455-471.
Sun, L., Bradley, K. D. ve Akers, K. (2012). A multilevel modelling approach to investigating factors impacting science achievement for secondary school students: PISA Hong Kong sample. International Journal of Science Education, 34(14), 2107-2125.
Şengül, A. (2011). Türk öğrencilerin PISA 2009 okuma becerilerini açıklayan değişkenlerin CHAID analizi ile belirlenmesi (Yayımlanmamış yüksek lisans tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Şirin, S. R. ve Vatanartıran, S. (2014). PISA 2012 değerlendirmesi: Türkiye için veriye dayalı eğitim reformu önerileri. İstanbul: TÜSİAD-T.
Turanlı, M. ve Deniz, Ö. (2008). Ülkelerin çok boyutlu ölçekleme analizi ile karşılaştırılması. Marmara Üniversitesi Sosyal Bilimler Enstitüsü Öneri Dergisi, 8(29), 187-192.
Verhelst, N. D. (2001). Testing the unidimensionality assumption of the Rasch model. Methods of Psychological Research Online, 6(3), 231-271.
Verhelst, N. D. (2012). Profile analysis: A closer look at the PISA 2000 reading data. Scandinavian Journal of Educational Research, 56(3), 315-332.
Verhelst, N. D. (2014). Test theory: Some basic notions. Eğitim ve Bilim, 39(172), 3-19.
Walker, C. M. ve Beretvas, S. N. (2003). Comparing multidimensional and unidimensional proficiency classifications: Multidimensional IRT as a diagnostic aid. Journal of Educational Measurement, 40(3), 255-275.
Wiberg, M. (2012). Can a multidimensional test be evaluated with unidimensional Item Response Theory?. Educational Research and Evaluation, 18(4), 307-320.
Yağmur, K. (2009). Türkçe ders kitapları üst düzey bilişsel becerilerin gelişimini ne oranda sağlamaktadır?. Ankara: Cito Eğitim Kuram ve Uygulama.
Yazıcı, K. (2006). Sosyal bilgilerde kullanılan görsel araçlar: Haritalar, küreler, resimler, tablolar ve grafikler. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 15, 651-662.
Yıldırım, H. H. ve Berberoğlu, G. (2009). Judgmental and statistical DIF analyses of the PISA-2003 matematics literacy items. International Journal of Testing, 9(2), 108-121.
Yıldırım, H. H. ve Yıldırım, S. (2012, 19-21 Eylül). Eski köye yeni adet: Profil analizi. III. Ulusal Eğitimde Ölçme ve Değerlendirme Kongresi'nde sunulmuş sözlü bildiri, Abant İzzet Baysal Üniversitesi, Bolu.
Yıldırım, H. H., Yıldırım, S. ve Verhelst, N. D. (2014). Profile analysis as a generalized Differantial Item Functioning analysis method. Eğitim ve Bilim, 39(172), 49-64.
Yıldırım, Ö. (2012). Okuduğunu anlama başarısıyla ilişkili faktörlerin Aşamalı Doğrusal Modellemeyle belirlenmesi (PISA 2009 Hollanda, Kore ve Türkiye Karşılaştırılması) (Yayımlanmamış doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Yılmaz, Ö. ve Kaya, V. (2005). Genişleme sürecindeki Avrupa birliği: Ekonomik performansa dayalı kümeleme analizi. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5(1), 361-376.
Zhang, L., Khan, G. ve Tahirsylaj, A. (2015). Student performance, school differentiation, and world cultures: Evidence from PISA 2009. International Journal of Educational Development, 42, 43-53.