Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik

GirişTıp eğitiminde program değerlendirme programların geliştirilmesi sürecinde rehberlik edecek verileri sağlar. Kullanılan değerlendirme araçlarının geçerli, güvenilir, düşük maliyetli olması ve öğrenci, eğitici, mezun vb gruplardan görüş almak için kullanılabilmesi beklenir.Program değerlendirme etkinlikleri, Ege Üniversitesi Tıp Fakültesi’nde 2001 yılında başlayan program geliştirme çalışmalarının önemli bir bileşeni olmuştur.  Gereç ve YöntemGüncel öğrenci ve öğretim üyesi değerlendirme formlarıyla elde edilen sonuçların güvenirlik ve geçerliği, metodolojik tasarım tipinde bir çalışmayla değerlendirilmiştir. İç tutarlılık güvenirliğinin belirlenmesinde Cronbach alpha katsayısı hesaplanmıştır. Kapsam geçerliğini belirlemek için bir uzman panelinde madde kapsam geçerlilik oranları hesaplanmıştır. Yapı geçerliğinin belirlenmesi için açımlayıcı faktör analizi uygulanmıştır.Puanlayıcılar arası uyum (interrater agreement) ve puanlayıcılar arası güvenilirlik (interrater reliability) araştırılmıştır. Puanlayıcılar arası güvenilirliğe ilişkin sınıf içi korelasyon katsayısı (intraclass correlation coefficient) için iki yönlü karma etki modeli kullanılarak % 95 güven aralığında tutarlık araştırılmıştır.  SonuçCronbach alpha değerlerinin İkinci ve Üçüncü Sınıf Blok Değerlendirme formunun iki faktörü dışında 0,7 üzerinde bulunması, güncellenen öğrenci ve öğretim üyesi değerlendirme formlarının sonuçlarıyla ilgili iç tutarlık güvenirliğini desteklemektedir. Yapı geçerliği analizinde öğrenci formları, İkinci ve Üçüncü Sınıf Blok Değerlendirme Formu dışında tek boyutlu, Öğretim Üyesi Değerlendirme Formu ise üç faktörlü yapıya sahip bulunmuştur.İkinci ve Üçüncü Sınıf Blok Değerlendirme formunda Faktör II, Öğretim Üyesi Blok ve Staj Değerlendirme Formunda ise Faktör III için puanlayıcılar arası uyum ve güvenilirlik katsayılarının kabul edilebilir düzeylerin altında olması bu boyutlar için yapılan ölçüme ilişkin güvenilirliği desteklememektedir.Bu çalışmanın sonuçları, EÜTF program değerlendirme sisteminde kullanılan güncel değerlendirme formlarıyla yapılan ölçümlerin geçerlik ve güvenirliğini destekleyen kanıtların yanı sıra, sonuçların yorum ve kullanımında dikkatli olunması gereken noktaları da ortaya koymuştur.

Reliability and Validity of The Measurements Done by Using Students’ and Teachers’ Evaluation Forms in Ege University School of Medicine

Introduction Program evaluation in medical education provides data that guide the program development process. It is expected that evaluation instruments are valid, reliable and low-cost, and useful for obtaining opinions of different groups such as student, teacher or graduate. Program evaluation has been a crucial component of program development in Ege University School of Medicine since 2001. Materials and Methods In this methodological design type study, reliability and validity of the results, obtained by updated students’ and teachers’ evaluation forms, were assessed. Cronbach alpha coefficient was calculated for assessing internal consistency reliability. Item content validity ratios were calculated in an expert panel. Exploratory factor analysis was implemented for determining construct validity. Interrater agreement and interrater reliability related to interpretation and use of the judgments of different observers were analyzed. Consistency was examined by a two-way mixed-effect model at 95% confidence interval, for calculating the intraclass correlation coefficient (ICC) related to interrater reliability.  ResultsCronbach alpha coefficients that were over 0,7, except for Second and Third Year Student Block Evaluation Form, corroborated the internal consistency reliability for updated student and teacher evaluation forms. In construct analysis, student forms, except the Second and Third Year Block Evaluation Form were found to have a one-dimension construct, while teacher forms were determined to have a three-dimensions construct.Reliability of measurement of Factor II of Second and Third Year Block Student Forms and Factor III of Teachers’ Evaluation Forms was not corroborated as the interrater agreement and reliability coefficients were below acceptable levels. Results of this study revealed the evidences that support the validity and reliability of measurements done by the current evaluation forms used in the program evaluation system of Ege University School of Medicine, and also detected the points to be paid attention while interpreting and using the results of the measurements. 

___

  • 1. Morrison, J. ABC of learning and teaching in medicine: Evaluation. BMJ: British Medical Journal. 2003; 326 (7385):385.
  • 2. Kogan JR, & Shea JA. Course evaluation in medical education. Teaching and Teacher Education. 2007; 23 (3):251-64.
  • 3. Cook DA. Twelve tips for evaluating educational programs. Medical Teacher. 2010; 32 (4):296-301.
  • 4. Dulski L, Kelly M, Carroll VS. Program outcome data: What do we measure? What does it mean? How does it lead to improvement? Quality Management in Health Care. 2006; 15(4):296-9.
  • 5. UTEAK. MÖTE standartları 2015. http://tepdad.org.tr/uploads/files/Belgeler%20ve% 20formlar/MOTE_STANDARTLAR2015.pdf adresinden 24.05.2018 tarihinde erişilmiştir.
  • 6. Şencan H. Sosyal ve davranışsal ölçümlerde güvenirlik ve geçerlilik. Ankara: Seçkin Yayıncılık; 2006.
  • 7. Durak HI, Vatansever K, van Dalen J, & van der Vleuten C. Factors determining students’ global satisfaction with clerkships: an analysis of a two year students’ ratings database. Advances in health sciences education. 2008; 13(4):495-502.
  • 8. Ercan İ, & Kan İ. Ölçeklerde güvenirlik ve geçerlik. Uludağ Üniversitesi Tıp Fakültesi Dergisi 2004; 30(3):211-216.
  • 9. Yurdugül H. Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi DENİZLİ, Pamukkale Üniversitesi Eğitim Fakültesi, 28–30 Eylül 2005:771-774.
  • 10. Bushnell DS. Input, process, output: A model for evaluating training. Training and Development Journal. 1990; 44 (3):41-3.
  • 11. EÜTF Program Değerlendirme Kurulu. İşaret Listesi Projesi. İzmir; Ege Üniversitesi Tıp Fakültesi; 2003.
  • 12. EÜTF Program Değerlendirme Komisyonu. Program Değerlendirme Çalışmaları 2003-2004. İzmir; Ege Üniversitesi Tıp Fakültesi: 2004.
  • 13. Wagner SM, Rau C, Lindemann E. Multiple informant methodology: a critical review and recommendations Sociological Methods & Research. 2010; 38 (4):582-618.
  • 14. Cranton P, & Smith RA. Reconsidering the unit of analysis: A model of student ratings of instruction. Journal of Educational Psychology. 1990; 82:207-212.
  • 15. Ludtke O, Robitzsch A, Trautwein U, & Kunter M. Assessing the impact of learning environments: How to use student ratings of classroom or school characteristics in multilevel modeling. Contemporary Educational Psychology. 2009; 34:120–131.
  • 16. Marsh HW. Students’ evaluations of university teaching: dimensionality, reliability, validity, potential biases and usefulness. In Perry RP & Smart JC. (Eds.), The scholarship of teaching and learning in higher education. Dordrecht: Springer; 2007:319–383.
  • 17. Morley D. (2014) Assessing the reliability of student evaluations of teaching: choosing the right coefficient, Assessment & Evaluation in Higher Education. 2014; 39 (2):127-139.
  • 18. Clayson DE. Student evaluation of teaching and matters of reliability, Assessment & Evaluation in Higher Education 2018; 43:4:666-681.
  • 19. Nelson PM, Christ TJ. Reliability and agreement in student ratings of the class environment. School Psychology Quarterly. 2016; 31 (3):419-430.
  • 20. James L, Demaree R, and Wolf G. "Estimating within-group interrater reliability with and without response bias." Journal of Applied Psychology. 1984; 69(1):85-98.
  • 21. Biemann T, Cole MS, Voelpel S. Within-group agreement: On the use (and misuse) of rWG and rWG(J) in leadership research and some best practice guidelines. Leadership Quarterly. 2012;23:66-80.
  • 22. Burke MJ, Dunlap WP. Estimating interrater agreement with the average deviation index: a user’s guide. Organizational Research Methods. 2002; 5 (2):159-172.
  • 23. LeBreton JM, Senter JL. Answers to twenty questions about interrater reliability and interrater agreement. Organizational Research Methods. 2008;11:815–52.
  • 24. Koo TK, Li MYA. Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine. 2016; 15(2):155–63.
  • 25. Biemann T, Cole MS. An Excel 2007 Tool for Computing Interrater Agreement (IRA) & Interrater Reliability (IRR) Estimates Version 1.5. 2014. 05.07.2018 tarihinde http://www.sbuweb.tcu.edu/mscole/docs/Tool%20for%20Computing%20IRA%20and%20IRR%20Estimates_v1.5.zip adresinden erişildi.
  • 26. EÜTF Plan Grubu. Klinik öncesi dönem eğitimi programını yatay ve dikey entegrasyon zemininde yeniden yapılandırma çalışmaları rehberi ve 2002-2003 yılı çalışma takvimi İzmir; Ege Üniversitesi Tıp Fakültesi: 2002.
  • 27. Aker S, Dündar C, Pekşen Y. Ölçme Araçlarında iki Yaşamsal Kavram: Geçerlik ve Güvenirlik: Derleme. Deneysel ve Klinik Tıp Dergisi. 2005; 22(1):50-60.
  • 28. Çelen Ü. Klasik test kuramı ve madde tepki kuramı yöntemleriyle geliştirilen iki testin geçerlilik ve güvenilirliğinin karşılaştırılması. İlköğretim Online 2008; 7(3):758-68.
  • 29. Güler N. Rasgele veriler üzerinde Genellenebilirlik Kuramı ve Klasik Test Kuramı’na göre güvenirliğin karşılaştırılması. Eğitim ve Bilim. 2011; 36(162):225-34.
  • 30. Beckman TJ, Ghosh AK, Cook DA, Erwin PJ, & Mandrekar JN. How reliable are assessments of clinical teaching?. Journal of General Internal Medicine. 2004; 19(9): 971-7.
  • 31. Kogan JR, and Shea JA. Course evaluation in medical education. Teaching and Teacher Education. 2007; 23(3):251-64.
  • 32. Cohen R, MacRae H & Jamieson C. Teaching effectiveness of surgeons. The American Journal of Surgery. 1996; 171(6):612-4.
  • 33. Kalender İ. Reliability-Related Issues in the Context of Student Evaluations of Teaching in Higher Education. International Journal of Higher Education. 2015; 4(3):44-56.
  • 34. Solomon DJ, Speer AJ, Rosebraugh CJ, & DiPette DJ. The reliability of medical student ratings of clinical teaching. Evaluation & the health professions. 1997; 2(3):343-52.
  • 35. Cook DA & Beckman TJ. Current concepts in validity and reliability for psychometric instruments: theory and application. The American journal of medicine 2006; 119(2): 166-e7-e16.
  • 36. Rantanen P. The number of feedbacks needed for reliable evaluation: A multilevel analysis of the reliability, stability and generalisability of students’ evaluation of teaching. Assessment & Evaluation in Higher Education. 2013; 38(2): 224-39.
Tıp Eğitimi Dünyası-Cover
  • ISSN: 1303-328X
  • Yayın Aralığı: Yılda 3 Sayı
  • Başlangıç: 2000
  • Yayıncı: Tıp Eğitimini Geliştirme Derneği
Sayıdaki Diğer Makaleler

Eskişehir Osmangazi Üniversitesi Tıp Fakültesi Son Sınıf Öğrencilerinin Halk Sağlığı Stajını Değerlendirmeleri

Sevil AYDOĞAN, Muhammed Fatih ÖNSÜZ, Burhanettin IŞIKLI, Selma METİNTAŞ

Kadın Hastalıkları ve Doğum Uzmanlık ve Yan Dal Uzmanlık Öğrencilerinin Hastane Eğitim Ortamı Algılarının Değerlendirilmesi

Mekin SEZİK, Mehtap SAVRAN, Cüneyt Orhan KARA, Mustafa Kemal ALİMOĞLU

Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik

Kevser VATANSEVER, Şöhret AYDEMİR, Hilal BATI, Cenk CAN, Mahmut ÇOKER, Selda Erensoy ERENSOY, Figen GÖVSA, Özen BAŞOĞLU, Lütfiye KANIT, Nilgün KÜLTÜRSAY, Oktay NAZLI, Eser SÖZMEN, Sıla Elif TÖRÜN, Meltem ÇİÇEKLİOĞLU

Uzman Hekimlerin İstatistiki Yeterlilikleri Hakkında Görüşleri

Betül ALATLİ, Tufan ALATLI

İntörn Doktorların Etik Duyarlılık Düzeyleri ve Etkileyen Faktörler

Mustafa Levent ÖZGÖNÜL, Mustafa DALOĞLU, Meltem AKDEMİR, Kamil Hakan ERENGİN, Yeşim ŞENOL

Diyabet Hastalığı Örneğinde Kronik Hastalar ve Hasta Yakınlarıyla İletişim

İzlem KABALI, Sema ÖZAN

Hekimlerin Sağlık Bilgisi Arayan Hastaya Uyguladıkları İletişim Stratejileri

Kadriye AVCI, Mehmet MERGEN, Gizem ÇAL, Müberra TORUN, Seyit Ahmet KORUR, Osman Metehan KARCI

Hacettepe Üniversitesi Tıp Fakültesi Dönem VI Öğrencilerinin Tıp Fakültesinde Hekimlik Becerileri Eğitimine Yönelik Görüşleri

Sevim Bürge ÇİFTÇİ ATILGAN, Furkan TEMİZAYAK, Tuğçe ÇAĞIRAN, Onur Ege TARI, Gökçe GÜRLER, Mehmet Cem MÜDERRİSOĞLU, Gülşen TAŞDELEN TEKER, Sevgi TURAN, İskender SAYEK

Tıp Fakültesi Öğrencilerinin Bilişsel Esneklik Düzeyleri, Öğrenme Yaklaşımları ve Kullandıkları Öğrenme Stratejileri

Çetin TORAMAN, Ayşen Melek AYTUĞ KOŞAN, Mustafa Onur YURDAL

Tıp Fakültesi Öğrencilerinin Hekimlik Mesleğine Yönelik Tutumları: Preklinik ve Klinik Eğitim Dönemlerinin Karşılaştırılması

Funda İfakat TENGİZ, Asya Banu BABAOĞLU, Esra Meltem KOÇ, Gülseren PAMUK