Görme Engelli Öğrencilere Yönelik Bilgisayar Ortamında Bireye Uyarlanmış Test Tasarımı

Eğitimde ölçme ve değerlendirme alanındaki bilimsel gelişmelerin ve teknolojinin bir ürünü olan bilgisayar ortamında bireyeuyarlanmış testlerin (BOBUT), görme engelli öğrenciler için geçerli ve güvenilir test sonuçları elde etmede önemli yarar sağlayacağı öngörülmektedir. BOBUT bireyin yetenek düzeyine uygun, az sayıda soruyla, daha kısa sürede, daha güvenilir test sonuçları elde edilmesini sağlamaktadır. Bu temel özellikleri düşünüldüğünde BOBUT’un eşit eğitim fırsatları ve karşılaştırılabilir test sonuçları için görme engelli öğrencilerin ölçme süreçlerinde çok önemli bir adım olacağı belirtilebilir. Bu araştırmada görme engelli öğrencilere yönelik ses tabanlı bir BOBUT geliştirmek; ölçme, yazılım geliştirme ve tasarım süreçleriyle, yapılacak çalışmalara rehber olmak amaçlanmıştır. Araştırma amacı doğrultusunda, BOBUT ile uygulamak üzere ortaokul düzeyindeki görme engelli öğrencilerin dinlediğini anlama becerisine yönelik 166 maddelik bir madde havuzu oluşturulmuştur. Test geliştirme sürecindeki; kazanım analizleri, uzman görüşleri, ön deneme uygulaması (n=196), deneme uygulaması (n=608) ve Madde Tepki Kuramı varsayımlarının kontrolü gibi geçerlik ve güvenirliğine dair kanıtlar sunulmuştur. Yazılım geliştirme basamakları çoklu ortam tasarımı ilkeleri temel alınarak ayrıntılı olarak raporlanmıştır. Parametre kestirimleri ve yazılım geliştirme çalışmaları 3parametreli lojistik modele göre yapılmıştır. Madde geliştirme ve yazılım testi süreçlerinde 7 görme engelli öğrencinin görüşlerinebaşvurulmuştur. Sonuç olarak görme engelli ortaokul öğrencilerine uygulanabilecek geçerli ve güvenilir, BOBUT temelliSesliTest geliştirilmiştir. Araştırma BOBUT’un görme engelli öğrencilere uygulanabileceğini göstermesi açısından büyük önem arz etmektedir.

Computerized Adaptive Testing Design for Students with Visual Impairment

Computerized Adaptive Testing (CAT), a product of scientific advancements and new technologies in the field of measurement and evaluation in education, may be considered beneficial in reaching more valid and reliable test results for students with visual impairment. CAT renders more reliable test results in less time with fewer items that are well-matched to the ability levels of students. When these basic properties of CAT are considered, we can state that the use of CAT in assessing the ability levels of students with visual impairment may provide a significant step in attaining fair and comparative test results. The aim of this research is to develop audio-based CAT software for visually impaired students and to guide future studies by providing assessment, development, and design procedures. We created an item pool comprised of 166 audible items to assess the listening comprehension levels of students with visual impairment at secondary school. We have reported all data that indicate the validity and reliability scores through test development process, such as the acquisition analyses, expert opinions, pre-trial application (n=196), trial application (n=608), assumptions for the Item Response Theory. We have depicted of all the steps of software development on the basis of multimedia design principles in detail. Parameter estimates and software development studies were made according to 3 parameter logistic model. During item development and software testing, opinions of 7 students with visual impairment were considered. As a result, a valid and reliable CAT, named SesliTest, has been developed for students with visual impairment at secondary school. The research carries great importance since it proves CAT is applicable for students with visual impairment.

PDF

___

Yıldırım, H., Çömlekoğlu, G. ve Berberoğlu, G. (2003). Milli Eğitim Bakanlığı özel okullar sınavı verilerinin madde tepki kuramı modellerine uyumu. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 24, 159-168.
Yaman, F., Dönmez, O., Avcı, E. ve Kabakçı Yurdakul, I. (2016). İşitme engelli öğrencilerin okumayazma eğitiminde mobil uygulama kullanımı. Eğitim ve Bilim, 41(188), 153-174. doi:10.15390/EB.2016.6687
Weiss, D. J. ve Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of Educational Measurement, 21, 361-375.
Wainer, H. (Ed.). (2000). Computerized adaptive testing: A primer (2. bs.). Mahwah, NJ: Lawrence Erlbaum.
Tindal, G. (1998). Models for understanding task comparability in accommodated testing. Eugene, OG: Behavioral Research and Teaching.
Tian, J., Miao, D., Zhu, X. ve Gong, J. (2007). An introduction to the computerized adaptive testing. UsChina Education Review, 4(1), 26.
Thurlow, M., Lazarus, S. S., Albus, D. ve Hodgson, J. (2010). Computer-based testing: Practices and considerations (Synthesis Report No. 78). Minneapolis: University of Minnesota, National Center on Educational Outcomes.
Thompson, N. A. (2010). Adaptive testing: is it right for me? Minesota: University of Cincinnati. Assessment Systems Corporation. http://www.assess.com/docs/Thompson_(2010)_- _Adaptive_Testing_Right.pdf adresinden erişildi.
Tavşancıl, E., Uluman, M. ve Furat, E. (2012). Görme engelli öğrencilerin üniversite giriş sınavında karşılaştığı sorunlar ve çözüm önerileri. III. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi’nde sunulmuş bildiri, Bolu.
Stone, E. ve Davey, T. (2011). Computer-adaptive testing for students with disabilities: A review of the literature. Research Report. Educational Testing Service, Princeton, New Jersey.
Sireci, S. G., Li, S. ve Scarpati, S. (2003). The effects of test accommodation on test performance: A review of the literature. Center for Educational Assessment Research Report no: 485. Amherst, MA: School of Education, University of Massachusetts Amherst.
Şenel, S. (2015). Görme engelli öğrencilerin üniversite giriş sınavı deneyimleri. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü Eğitim Araştırmaları Dergisi, 1(1), 1-17.
Sánchez, J. ve Espinoza, M. (2012). Chilean higher education entrance examination for learners who are blind. Sharkey, P. ve Klinger, E. (Ed.), Proceedings of the 9th international conference on disability, virtual reality and associated technologies içinde (409-418). Laval, France.
Russell, M., Higgins, J. ve Hoffmann, T. (2009). Meeting the needs of all students: A universal design approach to computer-based testing. Innovate: Journal of Online Education, 5(4).
Rudner, L. M. (1998). An on-line, interactive computer adaptive testing mini tutorial. http://echo.edres.org:8080/scripts/cat/catdemo.htm adresinden erişildi.
Raiche, G. ve Blais, J. (2002). Practical considerations about expected a posteriori estimation in adaptive testing: adaptive a priori, adaptive correction for bias and adaptive integration interval. ERIC veritabanından erişildi (ED464110).
Papadopoulos, K. S. ve Goudiras, D. B. (2005). Accessibility assistance for visually-impaired people in digital texts. British Journal of Visual Impairment, 23(2), 5-83.
Özbay, M. (2005). Bir dil becerisi olarak dil eğitimi. Ankara: Akçağ Yayınları.
Özbaşı, D. (2014). Bilgisayar okuryazarlığı testinin bilgisayar ortamında bireye uyarlanmış test olarak uygulanabilirliğine ilişkin bir araştırma (Yayımlanmamış doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Ölçme, Seçme ve Yerleştirme Merkezi. (2013). Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) kılavuzu. Ankara: Ölçme Seçme ve Yerleştirme Merkezi Yayınları.
National Center for Learning Disabilities. (2005). No child left behind: Determining appropriate assessment accommodations for students with disabilities.
Minnema, J., Thurlow, M., Bielinski, J. ve Scott, J. (2000). Past and present understandings of out-of-level testing: A research synthesis (Out-of-Level Testing Report 1). Minneapolis: University of Minnesota, National Center on Educational Outcomes.
Milli Eğitim Bakanlığı. (2013). Ortaöğretim kurumlarına geçiş sistemi seviye belirleme sınavı başvuru kılavuzu. Ankara: MEB Yayınları.
Milli Eğitim Bakanlığı. (2012). Ortaöğretim kurumlarına geçiş sistemi seviye belirleme sınavı başvuru kılavuzu. Ankara: MEB Yayınları.
Milli Eğitim Bakanlığı. (2006b). İlköğretim Türkçe dersi (6, 7, 8. sınıflar) öğretim programı. Ankara: MEB Yayınları.
Milli Eğitim Bakanlığı. (2006a). Özel eğitim hizmetleri yönetmeliği. Ankara: MEB Yayınları.
Milli Eğitim Bakanlığı. (2003). Uluslararası okuma becerilerinde gelişim projesi (PIRLS) 2001 ulusal raporu. Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı. Ankara: MEB Yayınları.
Mertler, C. A. ve Vannatta, R. A. (2005). Advanced and multivariate statistical methods: practical application and interpretation. Glendale, CA: Pyrczak Publishing.
Mayer, R. E. (Ed.). (2005). The Cambridge handbook of multimedia learning. New York: Cambridge University Press.
Laitusis, C. C., Cook, L. L., Buzick, H. M. ve Stone, E. (2011). Adaptive testing options for accountability assessments. M. Russell (Ed.), Assessing students in the margins: Challenges, strategies and techniques içinde (s. 291-310). Charlotte, NC: Information Age Publishing.
Laitusis, C. C., Buzick, H., Stone, E., Hansen, E. ve Hakkinen, M. (2012). Literature review of testing accommodations and accessibility tools for students with disabilities. Princeton, NJ: Educational Testing Service.
Kutlu, Ö., Bilican, S. ve Yıldırım, Ö. (2010). İlköğretim beşinci sınıf öğrencilerinin okuduğunu ve dinlediğini anlama puanlarının farklı bilişsel düzeylere göre incelenmesi. III. Uluslararası Türkçenin EğitimiÖğretimi Kurultayı’nda sunulmuş bildiri, Dokuz Eylül Üniversitesi, İzmir.
Kutlu, Ö. ve Karakaya, İ. (2004). Orta Öğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavının (OKÖSYS) faktör yapılarına ilişkin bir araştırma. XIII. Ulusal Eğitim Bilimleri Kurultayı’nda sunulmuş bildiri, Malatya.
Koretz, D. M. ve Barton, K. (2003). Assessing students with disabilities: issues and evidence (CSE Technical Report. No 587). National Center for Research on Evaluation, University of California, Los Angeles.
Kingsbury, G. G. ve Hauser, C. (2004). Computer adaptive testing and the No Child Left Behind Act. American Educational Research Association yıllık toplantısında sunulmuş bildiri, San Diego CA. http://www.psych.umn.edu/psylabs/catcentral/pdf%20files/ki04-01.pdf adresinden erişildi.
Kezer, F. (2013). Bilgisayar ortamında bireye uyarlanmış test stratejilerinin karşılaştırılması (Yayımlanmamış doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Kelecioğlu, H. (2001). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r istatistikleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110.
Karabay, E. (2016). Canlı okuyucu ve bilgisayar destekli okumanın görme engelli öğrencilerin test başarıları üzerindeki etkilerinin karşılaştırılması (Yayımlanmamış doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Johnstone, C. J., Altman, J. ve Thurlow, M. (2006). A state guide to the development of universally designed assessments. Minneapolis: University of Minnesota, National Centeron Educational Outcomes.
Higgins, J. ve Katz, M. (2013). A comparison of audio representations of mathematics content. Journal of Special Education Technology, 28(3), 59-66.
Hendrickson, A. (2007). An NCME instructional module on multistage testing. Educational Measurement: Issues and Practice, 26, 44-52.
Hausler, J. ve Sommer, M. (2008). The effect of success probability on test economy and self confidence in computerized adaptive tests. Psychology Science Quarterly, 50(1), 75-87.
Hambleton, R. K., Swaminathan, H. ve Rogers, H. J. (1991). Fundamentals of item response theory. California: Sage Publications.
Hambleton, R. K. ve Swaminathan, H. (1985). Item response teory: Principles and applications. USA: Kluwer Nijhoff Publishing.
Hambleton, R. K. (1990). Item response theory: Introduction and bibliography. Psicothema, 2(1), 97-107.
Haladyna, T. M. ve Downing, S. M. (Ed.). (2011). Handbook of test development. Routledge.
Erdem, R. (2017). Students with special educational needs and assistive technologies: A literature review. The Turkish Online Journal of Educational Technology, 16(1), 128-146.
Embretson, S. E. ve Reise, S. P. (2000). Item response theory for psychologists. New Jersey: LawrenceEarlbaum Associates.
Educational Test Service. (2014). Bulletin supplement for test takers with disabilities or health-related needs. GRE and TOEFL Tests, The Praxis Series, Paraproand School Leadership Series Assesments.
Doğan, N. (2002). Klasik test kuramı ve örtük özellikler kuramının örneklem bağlamında karşılaştırılması (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
Crocker, L. ve Algina, J. (1986). Introduction classical and modern test theory. New York: Harcourt Brace Javonovich College Publishers.
Clark, L. (2004). Computerized adaptive testing: Effective measurement for all students. Technological Horizons in Education Journal, 31(10), 14-16.
Clapper, A. T., Morse, A. B., Thompson, S. J. ve Thurlow, M. L. (2005). Access assistants for state assessments: A study of state guidelines for scribes, readers, and sign language interpreters (Synthesis Report 58). Minneapolis, MN: National Center on Educational Outcomes, University of Minnesota.
Büyüköztürk, Ş., Çokluk, Ö. ve Köklü, N. (2012). Sosyal bilimler için istatistik (10. bs.). Ankara: Pegem Akademi Yayınları.
Bielinski, J., Thurlow, M., Ysseldyke, J., Freidebach, J. ve Freidebach, M. (2001). Read-aloud accommodations: Effects on multiple-choice reading and math items (Technical Report 31). Minneapolis, MN: University of Minnesota, National Center on Educational Outcomes.
Bennett, R. E. (1999). Computer-based testing for examinees with disabilities: on the road to generalized accommodation. S. J. Messick (Ed.), Assessment in higher education: Issues of access, quality, student development, and public policy içinde (s. 181-191). Mahwah, NJ: Lawrence Erlbaum Associates
Anastasi, A. (1988). Psychological testing (6. bs.). New York: Macmillan Publishing Company.
American Educational Research Association, American Psychological Association ve National Council of Measurement in Education. (1998). Eğitimde ve psikolojide ölçme standartları (S. Hovardaoğlu ve N. Sezgin, Çev.). Ankara: Türk Psikologları Derneği ve Öğrenci Seçme ve Yerleştirme Merkezi Yayını.
Almond, P. J., Lehr, C., Thurlow, M. L. ve Quenemoen, R. (2002). Participation in large scale state assessment and accountability systems. G. Tindal ve T. M. Haladyna (Ed.), Large-scale assessment programs for all students: Validity, technical adequacy, and implementation içinde (s. 341-370). Mahwah, New Jersey: Lawrence Erlbaum Associates, Publishers.
Allman, C. B. (2009). Making tests accessible for students with visual impairments: A guide for test publishers, test developers, and state assessment personnel (4. bs.). Louisville, Kentucky: American Printing House for the Blind, Inc.
Accountability and Curriculum Reform Effort. (2010). Computerized adaptive testing: How CAT may be utilized in the next generation of assessments. http://www.ncpublicschools.org/docs/acre/publications/2010/publications/20100716-01.pdf adresinden erişildi.
Abell, M. ve Lewis, P. (2005). Universal design for learning: a statewide improvement model for academic success. Information Technology and Disabilities Journal E-Journal, 11(1). http://itd.athenpro.org/volume11/number1/abell.html adresinden erişildi.
Abedi, J., Leon, S. ve Kao, J. (2007). Examining differential distract or functioning in reading assessments for students with disabilities. Minneapolis: University of Minnesota, Partnership for Accessible Reading Assessment.