Determining Cutoff Points of Factors Affecting Scores of Private Skill Tests: ROC Curve Approach

Problem Durumu: Özel yetenek sınavları ile öğrenci alan bölümlerdeki eğitim-öğretim programının içeriği sadece uygulamalı derslerden oluşmamaktadır. Uygulama derslerinin yanı sıra kuramsal nitelikteki dersler de bu bölümlerin müfredat programları içerisinde yer almaktadır. Beden eğitimi bölümlerine öğrenci yerleştirilirken uygulanan beceri testlerinin yanı sıra Öğrenci Seçme Sınavı (ÖSS) puanı ve ağırlıklı ortaöğ- retim başarı puanları da (AOBP) dikkate alınarak değerlendirme yapılmaktadır. Yapılan ölçme işlemlerinin geçerli ve güvenilir bir şekilde uygulanmasına engel olabilecek çeşitli faktörler söz konusudur. Çeşitli araştırmalarda, beden eğitimi bölümlerine öğrenci yerleştirilirken öğrencilerin yetenek testlerinden elde etmiş oldukları puanlar ile birlikte ÖSS puanlarının da dikkate alınması gerektiği, özellikle sınav puanlarının ilk sınıflardaki başarıyı belirlemede etkili olduğu, ÖSS'de yüksek puan alan öğrencilerin yetenek testlerinde de başarılı olabildikleri hatta ÖSS puanlarının isabetli öğ- renci seçiminde daha etkili olabileceği ifade edilmektedir. Belirtilen bu durumlar dikkate alındığında yapılan çalışmaya ilişkin problem durumu "Yüzüncü Yıl Üniversitesi Beden Eğitimi ve Spor Öğretmenliği Bölümü'ne girişte uygulanan sınavların (tanı testlerinin) ve puanların kesim noktaları ve ayırt edicilik düzeyi nedir?" biçiminde ifade edilebilir. Çalışmanın Amacı: Yapılan bu çalışmanın amacı, Yüzüncü Yıl Üniversitesi Beden Eğitimi ve Spor Öğretmenliği Bölümü giriş sınavlarında yerleştirme puanının belirlenmesinde kullanılan ÖSS, AOBP, mekik koşusu ve koordinasyon derecelerinin, ROC eğrisi yöntemi kullanılarak, öğrencilerin akademik başarı durumları üzerindeki ayırt edicilik özelliklerinin araştırılmasıdır. Araştırmanın Yöntemi: Yapılan çalışmada kullanılan veriler Yüzüncü Yıl Üniversitesi Beden Eğitimi ve Spor Öğretmenliği bölümünde okuyan öğrencilerin özel yetenek sınavından elde etmiş oldukları mekik ve koordinasyon parkur dereceleri ile öğrenci seçme sınavı (ÖSS), ağırlıklı orta öğretim başarı puanı (AOBP) ve birinci yarıyıl akademi başarı ortalamalarına ait verilerdir. Çalışmada 25 erkek ve 15 bayan olmak üzere toplam 40 öğrenciye ait bilgiler kullanılmıştır. Araştırmanın Bulguları: ÖSS puanlarına göre en büyük duyarlılık+seçicilik değerine kesim noktası olarak 234.601 puan seçildiğinde ulaşılmıştır. ÖSS puanı için ROC eğ- risi altında kalan alanın değeri 0.812 olarak elde edilmiştir. AOBP'na göre en büyük duyarlılık+seçicilik değerine kesim noktası olarak 78.346 puan seçildiğinde ulaşılmış- tır. Öğrencileri başarılı ya da başarısız olarak nitelemek için en iyi kesim noktası 78.346 puan olarak belirlenmiştir. AOBP değişkeni için ROC eğrisinin altında kalan alanın değeri 0.713 olarak elde edilmiştir. Öğrencileri başarılı ya da başarısız olaraknitelemek için en iyi kesim noktasının 139 mekik derecesi olduğu sonucu elde edilmiştir. Mekik koşusu derecesi değişkeni için ROC eğrisinin altında kalan alanın değeri 0.591 olarak elde edilmiştir. Koordinasyon parkuru derecelerine göre en büyük duyarlılık+seçicilik değerine kesim noktası olarak 29.45 sn koordinasyon parkuru derecesi seçildiğinde ulaşılmıştır. Koordinasyon parkuru derecesi değişkeni için ROC eğrisinin altında kalan alanın değeri 0.478 olarak elde edilmiştir. Değişkenlerin ROC eğrisi altında kalan alanları ile bu alanların 0.5'ten farklılığının önem kontrolleri için yapılan testlerden elde edilen bilgiler değerlendirildiğinde ÖSS puanının ve AOBP'nın ROC eğrisinin referans noktası olan 0.5'ten anlamlı olarak farklılık gösterdiği ve başarılı öğrencileri ayırmada önemli etken olabilecekleri belirlenmiştir. Araştırmanın Sonuçları ve Öneriler: Bu çalışmada, ÖSS puanının akademik başarısı yüksek olan öğrencileri ayırmada önemli güce sahip olduğu belirlenmiştir. ÖSS puanına göre öğrencileri başarılı ya da başarısız olarak nitelendirmek için en iyi kesim noktası 234.601 puan olarak seçildiğinde, gerçekte başarılı olan bireylerin %91.7'sinin doğru olarak başarılı ve gerçekte başarısız olan bireylerin de %75'inin doğru olarak başarısız bulunduğu sonucu elde edilmiştir. Bu durumda altın standart puanı olarak geçme notu olan 60 puan düşünüldüğünde OSS puanı 234.601 ve üzerinde olan bireylerin yaklaşık %92'sinin akademik başarı durumunun doğru tahmin edildiği belirlenmiştir. Ağırlıklı ortaöğretim başarı puanı 78.346 ve üzerinde olan bireylerin yaklaşık %92'sinin akademik başarı durumunun doğru tahmin edildiği belirlenmiş- tir. Yapılan çalışmada ÖSS değişkeni için ROC eğrisi altında kalan alan 0.812 olarak elde edilmiştir. Dolayısıyla ÖSS değişkenine ait ROC eğrisi altında kalan alan 0.8-0.9 arasında olduğu için bu değişkenin çok iyi derecede ayrım yeteneğine sahip olduğu belirlenmiştir. Aynı şekilde AOBP değişkeni için 0.713 olarak hesaplanan ROC eğrisi altında kalan alan bu değişkenin ayırım yeteneğinin iyi düzeyde olduğunu göstermektedir. Mekik koşusu için ROC eğrisi altında kalan alanın 0.591 ve koordinasyon değişkeni için ise ROC eğrisi altında kalan alanın 0.478 olarak elde edilmesi bu değişkenlerin ayrım yeteneklerinin zayıf olduğunu belirtmektedir. Başarılı ve başarısız bireyleri ayırt etmede kullanılacak olan tanı testleri modern teknolojinin kullanıldığı pek çok alanda yaygın olarak kullanılmaktadır. Bir tanı yöntemini başarılı bir şekilde kullanabilmek için en uygun pozitiflik eşiği seçilmelidir. Diğer bir ifade ile amaç; en az hatalı ya da hatasız sınıflamanın yapılmasına olanak sağ- layacak kesim noktasının bulunmasıdır. Duyarlılık+seçicilik değerinin en büyük olduğu noktanın kesim noktası olarak alınması en iyi kesim noktasının belirlenmesi için kullanılan yöntemlerden biridir. Yapılan çalışmada, duyarlılık+seçicilik değerinin en büyük olduğu nokta kesim noktası olarak alınarak özellikle ÖSS ve AOBP değişkenlerinin öğrencilerin birinci yarıyıl akademik başarılarını ayırt etmede yardımcı tanı yöntemi olarak kullanılabilecekleri sonucuna ulaşılmıştır. ROC eğrisi hesaplama teknikleri basit ve görsel açıdan izlenmesi kolay olan b

Özel Yetenek Sınav Puanlarını Etkileyen Faktörlerin Kesim Noktalarının Belirlenmesi: ROC Eğrisi Yaklaşımı

Problem Statement: Evaluation is carried out by a variety of factors when choosing the student to physical education and sport science departments. These factors are skill tests, University Student Selection Exam (OSS) and students' academic success in their secondary school (AOBP). Various research have indicated that these tests scores are effective in determining academic success. Students who get a high score may be also successful in skill tests, and the grade of OSS may be effective in order to select accurate student. Problem statement of this study can be expressed as "What are cutoff points and distinctiveness level of exams those are applied for entrance to Department of Physical Education and Sports Teacher of Yuzuncu Yil University?" Purpose of study: The aim of the study is to use the University Student Selection Exam, students' academic success in their secondary school, shutle running and coordination test scores instead of the average academic achievement in order to distinguish successful and unsuccessful students through ROC (Receiver Operating Characteritic) analysis method. Methods: The data used in this study were taken from the sudents' office and the record of the physical education and sport science department. These data were obtained from 25 male and 15 female students in the first semester of the 2007-2008 academic year. Data included student selection exam, students' academic success in their high school, and special skill test scores (i.e., including shuttle running tests and coordination test). ROC curves were used to evaluate the effect of OSS, AOBP and special skill test scores on the academic achievement score and to determine to the cut-off points of these variables. In this study, academic achievement scores of the students were used as gold standard score. This score is 60 points. Students who have 60 or more are viewed successful. Findings and Results: ROC analysis revealed that Maximum sensitivity+specificity value were found 234.601 for OSS score. If this value is selected as the cut-off point, 91.7% of students who are successful according to academic success average estimated true. This variable is significant (p0.05).

___