İrfan ŞİMŞEK, M. Erdal BALABAN, Hatice ERGİN

EĞİTİMDE ÖLÇME VE DEĞERLENDİRME ÇALIŞMALARINDA WEB TABANLI UZMAN SINAV SİSTEMİNİN KULLANIMI ÜZERİNE BİR ARAŞTIRMA

Bu çalışmanın amacı;soruların bilişsel düzeylere göre kategorize edildiği, madde güçlük ve madde ayırt ediciliklerinin otomatik olarak hesaplanarak zorluk düzeylerinin yapıldığı, sınav esnasında kişinin soruları cevaplama durumuna göre soru düzeylerinin otomatik belirlendiği, hem sınıf ortamında hem de dijital ortamda kişiye özgü sınav yapabilecek bir modülün hazırlanması ve etkinliğinin sınanmasıdır. Bu araştırma kapsamında geliştirilen Web Tabanlı Uzman Sınav Sistemi sayesinde öğrencilerin öğrenmelerinin etkili bir şekilde ölçülebilmesini sağlayan, eğitimde ölçme ve değerlendirme kriterlerine uygun sorular hazırlanabilmektedir. Hazırlanan bu sorular kullanılarak sınav formlarının oluşturulması mümkün olabilmektedir. Bu sistem, öğrenciye ait veriler ile öğrencinin sistemle olan etkileşimi sonucundaki verileri kayıt altında tutmakta ve buradan elde edilen bilgiler doğrultusunda, öğrencinin bilgi seviyesini ölçmede kullanılacak soruları ve sistemin çalışma sırasını belirlemektedir. Ayrıca, zaman içinde değişen ihtiyaçlara ve öğrenci özelliklerine göre kendini geliştirebilmekte ve güncel duruma göre kendini uyarlayabilmektedir. Eğitimde ölçme ve değerlendirme kriterleri ve ölçme aracında bulunması gereken nitelikler baz alınarak bir anket formu geliştirilmiştir. Araştırmanın nicel analizi “SPSS 21 for MacOS X” paket programı ile yapılmış ve maddeler bağımlı örneklem varyans analizi ile incelenmiştir. Araştırmanın bulguları; ölçme aracında bulunması gereken nitelikler açısından diğer sınav formlarına göre Uzman Ajan ve bireylerin etkileşimde olduğu Uzman Sınav Sistemi kullanılarak hazırlanan sınav formu lehine hakem değerlendirme puanları arasındaki farkın anlamlı olduğunu göstermiştir.

Anahtar Kelimeler:

uzman sınav sistemi, ölçme ve değerlendirme, çevrimiçi sınav, uzman sistem

A Research On Using a Web Based Expert Exam System in Measurement and Evaluation Studies in Education

The aim of this study is to prepare a module and to test the effectiveness of the module which categorizes the questions with respect to the cognitive levels, determines the difficulty levels by calculating the related data of item difficulty and item discrimination, automatically tunes the difficulty levels of the questions with reference to the answers given in the process of the exam, and provides person-specific exams both in the classroom and digital environment. The Web-Based Expert Examination System developed within the scope of this study makes it possible to prepare questions compatible with the assessment and evaluation criteria in education enabling the measurement of the level of actual learning of the students. By utilizing the prepared questions, it would be possible to generate exam forms. This system records the data belonging to the students and the data as a result of the student-system interaction, and can determine the operation order of the system and the questions to be used to evaluate the knowledge level of the student in the light of the information obtained from the records. In addition, this system can improve itself according to the changing needs and student characteristics in due course and adapt itself to the current situation. A questionnaire form was developed by taking the measurement and evaluation criteria in education and qualities which testing tool was required to have into consideration. Quantitative analysis of the research was completed by utilizing the packet program “SPSS 21 for MacOS X” and items were examined via dependent sample variant analysis. The results of the study indicate that there was a significant difference between the referee evaluation scores in favor of the exam form, which was prepared by using the Intelligent Exam System in which Expert Agent and individuals interact, comparing the other exam forms according to the qualities that a testing tool is required to include.

Keywords:

expert exam system measurement and evaluation, online exam, expert system, expert agent,

PDF

___

Alberico, R. & Micco, M. (1990). Expert systems for reference and information retrieval. London: Meckler.
Arlı, M. ve Nazik, H. (2001). Bilimsel araştırmaya giriş. Ankara: Gazi Kitabevi.
Ayas, A., Köse, S., & Taş, E. (2002, May). The effects of computer-assisted instruction on misconceptions about photosynthesis. In The First International Education Conference, Changing Times Changing Needs, Eastern Mediterranean University, Gazimagusa-Northern Cyprus.
Bahar, M., Nartgün, Z., Durmuş, S. ve Bıçak, B. (2006). Geleneksel-alternatif ölçme değerlendirme teknikleri öğretmen el kitabı. Ankara: Pegem A Yayıncılık.
Balcı, A. (2005). Sosyal bilimlerde araştırma. Ankara: Pegema Yayıncılık.
Balcı, E. ve Tekkaya, C. (2000). Ölçme ve değerlendirme tekniklerine yönelik bir ölçeğin geliştirilmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 18, 42-50.
Buzzetto-More, N. A., & Alade, A. J. (2006). Best practices in e-assessment. Journal of Information Technology Education, 5(1), 251-269.
Çepni, S. (2003). An analysis of university science instructors’ examination questions according to cognitive levels. Educational Sciences: Theory and Knowledge, 3(1), 78-84.
Çepni, S., ve Azar, A. (1998, Eylül). Lise fizik sınavlarında sorulan soruların analizi. III. Ulusal Fen Bilimleri Eğitimi Kongresi, 109-114.
Cohen, L., Manion, L., & Morrison, K. (2000). Action research. Research Methods in Education, 5, 226-244.
Demirli, C. (2007). Elektronik portfolyo öğretim sürecinin öğrenen tutumlarına ve öğrenme algılarına etkisi. (Yayınlanmamış doktora tezi, Fırat Üniversitesi, Elazığ, Türkiye).
Emir, Ş. (2006). E-öğrenmede sınav modelleri ve uygulaması. (Yayınlanmamış yüksek lisans tezi, İstanbul Üniversitesi, Fen Bilimleri Enstitüsü, İstanbul).
Erdem A. R. (2005). Öğretim teknolojisi ve materyal geliştirme. İstanbul: Lisans Yayınevi.
Ertkin, E. (1993). Geleneksel ölçme kuramına alternatif iki yöntemin tanıtılması ve personel seçimini yönelik uygulama çalışması. (Yayınlanmamış doktora tezi, İstanbul Üniversitesi, Sosyal Bilimler Enstitüsü, İstanbul).
Haque, M. S. (2000). Application of artificial intelligence in construction management. http://osp.mans.edu.eg/elbeltagi/AI%20Introduction.pdf Erişim Tarihi: 10.11.2013.
Hart, A. (1986). Knowledge acquisition for expert system. London: Kogan Page.
Harvey, J., & Mogey, N. (1999). Pragmatic issues when integrating technology into the assessment of students. In S. Brown, P. Race, & J. Bull (Eds.), Computer-assisted assessment in higher education (pp. 7-20). London: Kogan-Page
Jackson, P. (1990). Introduction to expert systems (2nd ed.). Wokingham: Addision-Wesley.
Kabakçı, İ. ve Karakaya, Z. (2003). Web’de öğrenme ölçme ve değerlendirme. Ankara: Türkiye Bilişim Derneği.
Lynch, K. and Goold, A. & Blagn, J. (2004). Students' pedagogical preferences in the delivery of IT capstone courses. Journal of Issues in Informing Science and Information Technology, 1, 431-442.
Özçelik, D. A. (1998). Ölçme ve değerlendirme. Ankara: ÖSYM Yayınları.
Pickard, M. J. (2007). The New Bloom’s taxonomy: an overview for family and consumer sciences. Journal of Family and Consumer Sciences Education, 25(1), 45-55.
Rgford, D. V., & Baur, G. (1990). Expert systems for business: Concepts and applications. Boston: South-Western Publishing Company.
Robbins, A. (1995). İçindeki devi uyandır. (Çev. B. Ç. Dişbudak). İstanbul: İnkılâp Yayınevi.
Şahinel, S. (2002). Eleştirel düşünme. Ankara: PegemA Yayıncılık.
Savage, L. B. (1998). Eliciting critical thinking skills through questioning. The Clearing House, 71(5), 291-293.
Talim Terbiye Kurulu Başkanlığı. (2016). Madde yazımı ile ilgili rapor. http://talimterbiye.mebnet.net/program-gel-birimi/Soru%20Analizleri-%20Rapor.pdf Erişim Tarihi: 15.4.2016.
Turgut, M. F. ve Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
Uysal, Ö ve Kuzu, A. (2011). Çevrimiçi eğitimde kalite standartları: Amerika örnekleri. Anadolu Journal of Educational Sciences International, 1(1), 49-74.
van Zee, E. H., Iwasyk, M., Kurose, A., Simpson, D. & Wild, J. (2001). Students and teacher questioning during conversations about science. Journal of Research in Science Teaching, 38(2), 159-190.
Yıldırım, A. ve Şimşek, H. (2005). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin Yayıncılık.