Birim BALCI, Birol ÇİLOĞLUGİL, Mustafa Murat İNCEOĞLU

Mantık Tasarımı Dersi için Açık Uçlu Sorulardan Oluşan Bir Ölçme Aracı Geliştirilmesi: Geçerlik ve Güvenirlik Çalışması

Bu çalışmada, üniversitelerin Bilgisayar, Elektrik-Elektronik, Yazılım, Mekatronik Mühendislikleri gibi bölümlerinde okuyan öğrencilerin Mantık Tasarımı dersi kapsamındaki başarılarını ölçmek için bir başarı testi geliştirilmesi ve geliştirilen bu ölçme aracının geçerlik ve güvenirlik incelemeleri konu edilmektedir. Çalışmanın ilk aşamasında, Manisa Celal Bayar Üniversitesi (MCBÜ), Okan Üniversitesi ve Maltepe Üniversitesi Bilgisayar Mühendisliği, Mekatronik ve Elektrik-Elektronik Mühendisliği Bölümlerinde Mantık Tasarımı dersi kapsamında verilen ortak konular dikkate alınarak bir kazanım listesi hazırlanmıştır. Bu listedeki her kazanımı kapsayacak şekilde, açık uçlu sorular içeren bir ölçme aracı oluşturulmuş, soruların hangi kazanımlara karşılık geldiği belirtke tablosu üzerinde gösterilmiştir. Ölçme aracının tarafsız olarak değerlendirilebilmesi için bir rubrik hazırlanmıştır. Farklı üniversitelerden ve bölümlerden toplam altı alan uzmanının hakem görüşü alınarak gerekli güncellemeler yapılmıştır. Alan uzmanları ile gerçekleştirilen kapsam geçerliği çalışması sonuçları, ölçme aracının kapsam geçerlik oranının 0,84 olduğunu göstermektedir. Hazırlanan ölçme aracı, farklı üniversitelerde bu dersi önceki dönem/yıl içinde alarak başarılı olan ve gönüllülük esasına göre belirlenen, 88 öğrenciye uygulanmıştır. Ölçme aracının güvenirliğini hesaplayabilmek için, rastgele seçilen 10 öğrencinin cevapları iki alan uzmanı tarafından, belirlenen rubriğe göre değerlendirilmiştir. Spearman’s rho testi sonuçları, hem her maddenin ayrı ayrı hem de madde toplamları korelasyon değerlerinin istatistiksel olarak anlamlı olduğunu göstermektedir. Sonuç olarak, bu çalışma ile, 15 adet açık uçlu sorudan oluşan Mantık Tasarımı dersine yönelik geçerli ve güvenilir bir ölçme aracı alınyazına kazandırılmıştır.

Anahtar Kelimeler:

ölçme aracı, başarı testi, mantık tasarımı, açık uçlu soru, geçerlik güvenirlik çalışması

PDF

___

Akbulut, H.H., (2010). Sıvıların kaldırma kuvveti ve yüzme kavramlarına yönelik probleme dayalı öğrenme uygulaması ve değerlendirilmesi, Karadeniz Teknik Üniversitesi, Fen Bilimleri Enstitüsü, (Yayınlanmamış yüksek lisans tezi) , Trabzon.
Akbulut, H.İ. ve Çepni. S. (2013), “Bir Üniteye Yönelik Başarı Testi Nasıl Geliştirilir?: İlköğretim 7. Sınıf Kuvvet ve Hareket Ünitesi”, Amasya Üniversitesi Eğitim Fakültesi Dergisi, 2(1), 18-44.
Aşıksoy, G., & Ozdamli, F. (2017), “The Flipped Classroom Approach Based on the 5E Learning Cycle Model-5ELFA”, Croatian Journal of Education: Hrvatski časopis za odgoj i obrazovanje, 19(4), 1131-1166.
Atılgan, H., Kan, A. ve Doğan N. (2006). Eğitimde Ölçme ve Değerlendirme. Ankara: Anı Yayıncılık.
Bay, E. ve Tuğluk, M.N., (2004), “Resmi ve Özel İlköğretim Okulları Öğrenci Başarılarının Karşılaştırılması”, Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 4(2).
Berk, R. A. (1996), “A Consumer's Guide to Multiple- Choice Item Formats That Measure Complex Cognitive Outcomes”, In National Evaluation Systems, From policy to practice (pp.101-127). Amherst, MA:Author.
Birel, A.S., Albuz, A. (2014), “Viyolonsel Öğretiminde Performansı Değerlendirmeye Yönelik Hazırlanan Dereceli Puanlama Anahtarının (Rubrik) Sınanması ve Değerlendirilmesi”, Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi 18(3), 281-207.
Bloom, B. S., Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Taxonomy of Educational Objectives, The Classification of Educational Goals. Handbook I. Cognative Domain. New York, David McKay Company Inc.
CBU. (2018a). Manisa CBU Faculty of Engineering Computer Engineering Program Outcomes. (http://katalog.cbu.edu.tr/Site/ProgramOutcomes.aspx?ProgramID=1154&lang=1 ), ( 10.10.2018)
CBU. (2018b). Manisa CBU Faculty of Engineering Electrical and Electronics Engineering Program Outcomes. (http://katalog.cbu.edu.tr/Site/ProgramOutcomes.aspx?ProgramID=283&lang=1), (10.10.2018)
Çavdar, O. ve Doymuş, K., (2016), “İyi Bir Eğitim Ortamı İçin Yedi İlkenin İşbirlikli Öğrenme Yöntemi ile Kullanılmasının Fen ve Teknoloji Dersinde Başarıya Etkisi”, Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 20(2), 441-466.
Çetin, B. ve İlhan, M. (2017), “Standart ve SOLO Taksonomisine Dayalı Rubrikler ile Puanlanan Açık Uçlu Matematik Sorularında Puanlayıcı Katılığı ve Cömertliğinin İncelenmesi”, Eğitim ve Bilim, 42(189), 217-247.
Çoruk, H. ve Çakır, R. (2017), “Çoklu ortam kullanımının ilkokul öğrencilerinin akademik başarılarına ve kaygılarına etkisi”, Türk Bilgisayar ve Matematik Eğitimi Dergisi, 8(1), 1-27.
Demir, N., Kızılay, E., & Bektaş, O. (2016), “ Development of an Achievement Test about Solutions for 7th Graders: A Validity and Reliability Study”, Necatibey Faculty of Education Electronic Journal of Science & Mathematics Education, 10(1).
Dunbar, N. E., Brooks, C. F. & Miller, T. K. (2006), “Oral communication skills in higher education: Using a performance-based evaluation rubric to assess communication skills”, Innovative Higher Education, 31(2), 115-128. doi:10.1007/s10755-006-9012-x
Gönen, S., Kocakaya, S. ve Kocakaya, F. (2011), “Dinamik Konusunda Geçerliği ve Güvenirliği Sağlanmış Bir Başarı Testi Geliştirme Çalışması”, Yüzüncü Yıl Eğitim Fakültesi Dergisi, 8(1), 40-57.
Güler, Ç. (2019), Öğrenme Nesnesi Tasarım ve Geliştirme Süreci: Bir Tasarım Tabanlı Araştırma Örneği, Hacettepe Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi Anabilim Dalı, (Doktora tezi ), Ankara.
Herman, G. L., (2011), The development of a digital logic concept inventory. (Doctor of Philosophy Thesis in Electrical and Computer Engineering in the Graduate College of the University of Illinois at Urbana-Champaign).
Herman, G. L., & Loui , M. C. (2011), “Administering a digital logic concept inventory at multiple institutions”. In Proceedings of the 2011 American Society for Engineering Education annual conference and exposition (pp. 26–29). Vancouver, BC.
Herman, G. L., Loui, M. C., & Zilles, C. (2010). Creating the digital logic concept inventory. In Proceeding of the 41th Annual ACM Technical Symposium of Computer Science Education (ITiCSE’10) (pp. 102–106). New York, NY.
Incebacak, B.B. ve Ersoy, E., (2017). Developing An Achievement Test For Fraction Teaching: Validity and Reliability Analysis. ITM Web of Conferences 13, DOI: 10.1051/itmconf/20171301003 CMES2017.
İlhan, M. (2016), “Açık uçlu sorularla yapılan ölçmelerde klasik test kuramı ve çok yüzeyli rasch modeline göre hesaplanan yetenek kestirimlerinin karşılaştırılması”, Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(2), 346-368.
Narlı, S. ve Başer, N. (2008), "Küme, Bağıntı, Fonksiyon" Konularında Bir Başarı Testi Geliştirme ve Bu başarı testi İle Üniversite Matematik Bölümü 1. Sınıf Öğrencileirnin Bu Konulardak Hazırbulunuşluklarını Betimleme Üzerine Nicel Bir Araştırma”, Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, 24, 147-158.
Özçelik, D.A. (1998). Ölçme ve Değerlendirme. ÖSYM Yayınları, Ankara.
Reliablity. (2018) Web Center for Social Research Methods. (http://www.socialresearchmethods.net/kb/reliable.php), (1.10.2018)
Singh, C. & Rosengrant, D. (2003), “Multiple-Choice Test of Energy and Momentum Concepts”, American Journal of Physics, 71(6), 607-617.
Sullivan, F. R. (2008), “Robotics and science literacy: Thinking skills, science process skills and systems understanding”, Journal of Research in Science Teaching: The Official Journal of the National Association for Research in Science Teaching, 45(3), 373-394.
Şen, H.C. ve Eryılmaz, A. (2011), “Bir Başarı Testi Geliştirme Çalışması: Basit Elektrik Devreleri Başarı Testi Geçerlik ve Güvenirlik Araştırması”, Yüzüncü Yıl Üniversitesi, Eğitim Fakültesi Dergisi. VIII(I), 1-39.
Şenel, T., Çepni, S., Yıldırım, N. ve Nas, S. E.(2007), “Süreç Odaklı Değerlendirmede Kullanılabilecek Bir Analitik Rubriğin Geliştirilmesi: Yaşamımızdaki Elektrik Ünitesi Örneği”, EDU7, 2(2).
Tuncel, G. (2011), “Sosyal Bilgiler Dersinde Rubriklerin Etkili Kullanımı”, Marmara Coğrafya Dergisi Sayı: 23, 213-233.
Yılmaz, G.K., Ertem, E. ve Güven, B. (2010), “ Dinamik Geometri Yazılımı Cabri’nin 11.Sınıf Öğrencilerinin Trigonometri Konusundaki Öğrenmelerine Etkisi”, Turkish Journal of Computer and Mathematics Education 1(2), 200-216.
Yılmaz, H. (2004). Eğitimde Ölçme ve Değerlendirme (7.baskı). Konya: Çizgi Kitabevi Yayınları.
Yurdugül, H. (2005). Ölçek Geliştirme Çalışmalarında Kapsam Geçerliği İçin Kapsam Geçerlik İndekslerinin Kullanılması. XIV. Eğitim Bilimleri Kurultayı, Pamukkale Üniversitesi, Denizli.