The Proposal of Double Consistency Index (Pdc) and Its Proposition for Some Variables

Ölçüt-dayanaklı değerlendirme bağlamında geliştirilen indekslerin, kesme puanının dağılımdaki yerinden etkilendiği görgül olarak gösterilmiştir. Bu çalışmada, kesme puanından bağımsız, bazı geleneksel yöntemlerin birleştirilmesine dayanarak üretilmiş yeni bir indeks (PÇT) önerilmekte ve bazı değişkenler açısından indeks ele alınmaktadır. Yeni indeks, test maddelerinin tekler-çifter şeklinde iki yarıya bölünmesine ve bu iki yarıdaki toplam puanlar büyükten küçüğe doğru dizildikten sonra %27'lik alt ve üst gruplardaki bireylerin her iki yanda da tutarlı sınıflanmasının ve sıralamasının uyumuna dayanmaktadır. Analizler sonucunda, indeksin n, k ve % gruplarındaki değişimlerden etkilendiği bulunmuştur. Diğer indekslere göre hesaplanmasının kolaylığı ve hem ikil hem de çoklu puanlanan ölçeklere uygulanabilirliği indekse üstünlük sağlamaktadır; ancak indeksin dağılım fonksiyonunun çalışılmasına gereksinim bulunmaktadır.

Çift-Tutarlık İndeksi Önerisi (Pçt) ve Bazı Değişkenler Açısından İncelenmesi

It has been empirically shown that the classification consistency indices developed in the criterion-referenced context have been influenced by the position of cutoff score on the test distribution. A new index (cutoff score free) combining some traditional methods has been proposed, and a formulae has been developed (PDC). This new index (double consistency index) has based on spliting of test items as odd-even items, calculating the total score of each individual in two splits, sorting of these total scores, and then evaluating agreement between up-low 27% of groups in each split. Analyses have shown that the index is influenced by n, k and the percent groups. The calculating index is easier than the other indices; it can be applied to both dichotomously and polytomously scored tests, gives information about classification and ordinal consistency of the test. But, it needs futher studies especially about its distribution function.

PDF

___

Berk, R. A. (1980). A consumers' guide to criterion-referenced . test reliability. Journal of Educational Measurement, 17 (4), 323-349.
Brennan, R. L. (1972). A generalized upper-lower item discrimination index. Educational and Psychological Measurement, 32,289-303.
Brennan, R. L. & Kane, M. T. (1977). An index of dependability for mastery tests. Journal of Educational Measurement, 14 (3), 277-289.
Breyer, F. J. & Lewis, C. (1994). Pass-fail reliability for tests with cut scores: A simplified method. New Jersey: ETS, Research Report.
Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. New York: CBS College Pub. Co.
Erkuş, A., Sanlı, N., Bağlı, M. T. & Güven, K. (2000). Öğretmenliğe İlişkin Tutum Ölçeği geliştirilmesi. Eğitim ve Bilim, 25(116), 27-33.
Fan, C. T. (1954). Note on construction of an item analysis table for the high-low-27-percent method. Psychometrika, 19(3), 231-237.
Flanagan, J. C. (1952). The effectiveness of short methods for calculating correlation coefficients. Psychological Bulletin, XLIX, 342-348.
Hambleton, R. K. & Novick, M. R. (1973). Toward an integration of theory and method for criterion-referenced tests. Journal of Educational Measurement, 10 (3), 159-170.
Huynh, H. (1976). Statistical consideration of mastery scores. Psychometrika, 41 (1), 65-78.
Huynh, H. (1978). Reliability of multiple classifications. Psychometrika, 43 (3), 317-325.
Livingston, S. A. (1972). Criterion-referenced applications of classical test theory. Journal of Educational Measurement, 9,13-26
Livingston, S. A. & Lewis, C. (1995). Estimating the consistency and accuracy of classifications based on test scores. Journal of Educational Measurement, 32,179-198.
Subkoviak, M. J. (1976). Estimating reliability from a single administration of a mastery test. Journal of Educational Measurement, 13,265-276.
Subkoviak, M. J. (1980). Decision-consistency approaches. In: R. A. Berk (Ed), Criterion-referenced measurement, 129-185 Baltimore: John Hopkins Unv. Press.
Subkoviak, M. J. (1988). A practitioner's guide to computation and interpretation of reliability indices for mastery tests. Journal of Educational Measurement, 25(1), 47-55.