Güvenirlik Katsayılarının Kayıp Veri Atama Yöntemlerine Göre İncelenmesi

Bu çalışmanın amacı, güvenirlik katsayı kestirimlerinin kayıp veri atama yöntemlerine göre örneklem büyüklüğü, kategori sayısı ve kayıp veri oranları koşulları altında incelenmesidir. Bu doğrultuda örneklem büyüklüğü 500 ve 5000 olacak şekilde 20 maddeden oluşan tek boyutlu iki veri seti üretilmiştir. Üretilen bu tam veri setlerinde tümüyle seçkisiz kayıp koşulu altında %5, %10, %20 ve %30 oranlarında silme işlemi gerçekleştirilmiştir. Silme işleminden sonra kayıp veri atama yöntemlerinden sıfır, regresyon, ortalama ve çoklu atama yöntemleri ile değer ataması yapılmıştır. Güvenirlik katsayıları olarak ise Cronbach ?, Standartlaştırılmış ?, Armor'un ?, Guttman ?4, Guttman ?5, Guttman ?6 ve McDonald'ın ? güvenirlik katsayıları kullanılmıştır ve elde edilen kestirimler tam veri üzerinden elde edilen kestirimler ile karşılaştırılmıştır. Araştırmanın sonucunda, kayıp veri atama yöntemine bağlı olarak kayıp veriye daha dayanaklı olan tek bir katsayının olmadığı görülmüştür. Araştırmada ele alınan güvenirlik katsayılarına ilişkin yapılacak analizlerde araştırmacılara kayıp veri ile baş etme yöntemi olarak çoklu atama ve regresyon atama yöntemlerinin kullanımı fakat sıfır atama yönteminin kullanılmaması önerilmiştir

Investigation of Reliability Coefficients According to Missing Data Imputation Methods

The purpose of this study is to examine the reliability coefficient estimates under the conditions of sample size, number of categories and missing data rates according to the methods of missing data imputation. Within this context, the data sets were generated 20 number of items for sample size 500 and 5000 respectively. The full data sets were deleted under missing completely at random condition by five, ten, twenty and thirty percent. After deleting data sets, missing data techniques 0, mean, regression and multiple imputation were carried out on incomplete data sets. Reliability coefficients which used this study were Cronbach α, standardized α, Armor‘s θ, Guttman λ 4, Guttman λ 5, Guttman λ 6 and McDonald‘s ω, and the reliability estimations were compared with the full data sets of the reliability estimations. Results show that there was not a single coefficient which was more reliable based on missing data imputation methods. It is suggested that the researcher should use multiple assignment and regression assignment methods, but not the zero imputation method, as missing data imputation methods in the analysis of the reliability coefficients discussed in the research

PDF

___

Acock, A.C. (2005). Working with missing values. Journal of Marriage and Family, 67, 1012-1028.
Akbaş, U. ve Tavşancıl, E. (2015). Farklı örneklem büyüklüklerinde ve kayıp veri örüntülerinde ölçeklerin psikometrik özelliklerinin kayıp veri baş etme teknikleri ile incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6 (1), 38-57.
Alkan, N., Terzi, Y., Cengiz, M. A., ve Alkan, B. B. (2013). Comparison of Missing Data Analysis Methods in Cox Proportional Hazard Models. Turkiye Klinikleri Journal of Biostatistics, 5(2).
Alpar, R. (2011). Uygulamalı çok değişkenli istatistiksel yöntemler, Ankara: Detay Yayıncılık.
Allison, P.D. (2009). Missing data (Sage university paper series on quantitative applications in the social sciences, 72-89). London: Sage Publication.
Armor, D. J. (1973). Theta reliability and factor scaling. Sociological methodology, 1974 (5),1.
Avcu, A. (2016). Çok boyutlu karma-format testlerin ölçeklenmesini etkileyen faktörlerin incelenmesi. (Yayımlanmamış Doktora Tezi. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara).
Bandalos, D.L., & Enders, C.K. (1996). The effect of nonnormality and number of response categories on reliability. Applied Measurement in Education, 9, 151–160.
Baraldi, A.N.& Enders, C.K. (2010). An introduction to modern missing data analysis. Journal of School Psychology, 48, 5–37.
Benton, T. (2015). An empirical assessment of Guttman’s Lambda 4 reliability coefficient. In Quantitative Psychology Research (pp. 301-310). Springer International Publishing.
Carpita, M., & Manisera, M. (2011). On the imputation of missing data in surveys with Likert-type scales. Journal of Classification, 28(1), 93-112.
Charter, R. A. (1999). Sample Size Requirements for Precise Estimates of Reliability, Generalizability, and Validity Coefficients. Journal of Clinical and Experimental Neuropsychology, 21, 559-566.
Chen, S. F.,Wang, S., & Chen, C. Y. (2012). A simulation study using EFA and CFA programs based the impact of missing data on test dimensionality. Expert Systems with Applications, 39(4), 4026-4031.
Cool, A. L. (2000). A review of methods for dealing with missing data. Paper presented at Annual Meeting of the Southwest Educational Resarch Association. Dallas.
Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334.
Cuesta Izquierdo, M.& Fonseca Pedrero, E. (2014). Estimating the reliability coefficient of tests in presence of missing values. Psicothema, 26 (4), 516-523.
Custer, M., Sharairi, S.& Swift, D. (2012).A Comparison of scoring options for omitted and not-reached items through the recovery of IRT parameter when utilizing the Rasch model and joint maximum likelihood estimation. In Annual Meeting of the National Council on Measurement in Education. Vancouver, CA.
Çakıcı Eser, D. (2015). Çok boyutlu madde tepki kuramının farklı modellerinden çeşitli koşullar altında kestirilen parametrelerin incelenmesi. (Doktora Tezi. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara).
Çüm, S.,&Gelbal, S. (2015). Kayıp Veriler Yerine Yaklaşık Değer Atamada Kullanılan Farklı Yöntemlerin Model Veri Uyumu Üzerindeki Etkisi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(35), 87-111.
De Ayala, R. J.,Plake, B. S., & Impara, J. C. (2001). The impact of omitted responses on the accuracy of ability estimation in item response theory. Journal of Educational Measurement, 38, 213–234.
Demir, E. (2013). Kayıp verilerin varlığında çoktan seçmeli testlerde madde ve test parametrelerinin kestirilmesi: SBS örneği. Eğitim Bilimleri Araştırmaları Dergisi, 3(2), 48-68.
Diedenhofen, B. (2016). Package “cocron”, https://cran.r-project.org/web/packages/cocron/cocron.pdf.
Duhackek, A.,Coughlan, A.T., & Iacobucci, D. (2005). Results on the Standard error of the coefficient alpha ındex of reliability. Marketing Science 24(2), pp. 294–301.
Enders, C. K. (2004). The impact of missing data on sample reliability estimates: Implications for reliability reporting practices. Educational and Psychological Measurement, 64(3), 419-436
Enders, C.K. (2010). Applied missing data analysis. USA: The Guilford Press.
Engels, J. M.,& Diehr, P. (2003). Imputation of missing longitudinal data: a comparison of methods. Journal of clinical epidemiology, 56(10), 968-976.
Finch, H. (2008). Estimation of item response theory parameters in the presence of missing data. Journal of Educational Measurement, 45(3), 225-245.
Fitzmaurice,G.,Kenward,M.G., Molenberghs, G., Verbeke, G. & Tsiatis, A. (2015). Missing Data: Introduction and Statistical Preliminaries. Molenberghs, G.,Fitzmaurice, G., Kenward, M.G., Tsiatis, A., Verbeke, G (Eds.) Handbook of Missing Data Methodology (ss.3-19) Chapman Chapman &Hall/CRC.
Furlow, C. F., Fouladi, R. T., Gagne, P., & Whittaker, T. A. (2006). A Monte Carlo study of the impact of missing data and differential item functioning on theta estimates from two polytomousrasch family models. Journal of Applied Measurement, 8(4), 388-403.
Furr, R. M. & Bacharach, V. R. (2014). Psychometrics: an iıntroduction (2nd ed.). California: SAGE.
Garrett, P. L. (2009). A monte carlo study investigating missing data, differential item functioning and effect size. (Doctoral Dissertation, College of Education, Atlanta, Georgia).
Gibson, N. M., & Olejnik, S. (2003). Treatment of missing data at the second level of hierarchical linear models. Educational and Psychological Measurement, 63(2), 204-238.
Graham, J. W., Taylor, B. J., Olchowski, A. E.& Cumsille, P. E. (2006). Planned missing data designs in psychological research. Psychological Methods, 11, 323-343.
Guttman, L. (1945). A basis for analyzing test-retest reliability. Psychometrika, 1, 255- 282.
Hair, F.J., Black, C.W., Babin, J.B., Anderson, E.R. & Tatham, L.R. (2006). Multivariate data analysis ( 6th ed.) Pearson Prentice Hall, New Jersey.
Han, K. T. (2014). WinGen3: Windows software that generates IRT parameters and item responses [computer program]. Amherst, MA: University of Massachusetts, School of Education. Şubat 2016 tarihinde https://www.umass.edu/remp/software/simcata/wingen/downloadsF.html adresinden indirilmiştir.
Harwell, M., Stone, C. A., Hsu, T. C., & Kirisci, L. (1996). Monte Carlo studies in item response theory. Applied Psychological Measurement, 20(2), 101-125.
Hawthorne, G.,& Elliott, P. (2005). Imputing cross-sectional missing data: comparison of common techniques. Australian and New Zealand Journal of Psychiatry, 39(7), 583-590.
Hunt, T. (2013). Covariance Maximized Lambda 4: An Introduction of a Low-Biased Reliability Coefficient. http://mstat.test.utah.edu/degree-options/Covariance%20Maximized%20Lambda%204.pdf.
Joenssen, D.W. (2015). Package “Hot DeckImputation”, https://cran.r-project.org/web/packages/HotDeckImputation/HotDeckImputation.pdf.
Jöreskog, K. G. (1971). Statistical analysis of congeneric tests. Psychometrika, 36, 109-133.
Kalaycı, Ş. (2006). SPSS uygulamalı çok değişkenli istatistik teknikleri. Ankara: Asil Yayın Dağıtım.
Koğar, H. (2014). Madde tepki kuramının farklı uygulamalarından elde edilen parametrelerin ve model uyumlarının örneklem büyüklüğü ve test uzunluğu açısından karşılaştırılması. (Doktora Tezi. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara).
Köse, İ. A. (2014). The effect of missing data handling methods on goodness of fit indices in confirmatory factor analysis. Educational Research and Reviews, 9, 208-215.
Little R. J. A.&Rubin D. R.(2002). Statistical analysis with missing data, (2th ed.), Wiley, New York.
Lord, F.&Novick, M. (1968).Statistical theories of mental test scores, Reading, MA: Addison-Wesley.
Lozano, L. M., García-Cueto, E., & Muñiz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79.
McDonald, R.P. (1999). Test theory: A unified treatment. Hillsdale: Erlbaum.
Meeyai, S. (2016). Logistic Regression with Missing Data: A Comparison of Handling Methods, and Effects of Percent Missing Values. Journal of Traffic and Logistics Engineering Vol, 4(2), 128-134.
Nartgün, Z. (2015). Kayıp veri sorununun çözümünde kullanılan farklı yöntemlerin farklı kayıp veri koşulları altında ölçeklerin psikometrik nitelikleri ve ölçme sonuçları bağlamında karşılaştırılması. International Online Journal of Educational Sciences, 7(4), 252-265.
Novick, M. R. & Lewis, C. (1967). Coefficient alpha and the reliability of composite measurements. Psychometrika, 32, 1-13.
Nunnally, J.C.&Bernstein, I.H. (1994). Psychometric theory (3rd ed.). Neew York: McGraw-Hill.
Osburn, H. G. (2000). Coefficient alpha and related internal consistency reliability coefficients. Psychological Methods, 5, 343–355.
Pigott, T. D. (2001). A review of methods for missing data. Educational research and evaluation, 7(4), 353-383.
Preston, C.C. & Colman, A.M. (2000). Optimal number of response kategories in rating scales: reliability, validity, discriminating power, and respondent preferences. Acta Psychologica,104, 1-15.
Revelle, W. (2015). Package “psych”, https://cran.r-project.org/web/packages/psych/psych.pdf.
Rubin, D.B. (1976). Inference and missingdata. Biometrica, 63(3), 581-592.
Rubin, D. (1996). Multiple imputation after 18+ years. Journal of the American Statistical Association, 91, 473–489.
Sayın, A. (2014). Klasik test kuramı ve madde tepki kuramına göre kestirilen parametrelerle sınırlandırılan yapısal eşitlik modellerinin uyum indekslerinin karşılaştırılması. (Doktora Tezi. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara).
Shin, T.,Davison, M. L. & Long, J. D. (2009). Effects of missing data methods in structural equation modeling with nonnormal longitudinal data. Structural Equation Modeling, 16, 70-98.
Shrive, F. M.,Stuart, H., Quan, H., & Ghali, W. A. (2006). Dealing with missing data in a multi-question depression scale: a comparison of imputation methods. BMC medical research methodology, 6(1), 57.
Song, X. Y.& Lee, S. Y. (2008). A Bayesian approach for analyzing hierarchical data with missing out comes through structural equation models. Structural Equation Modeling, 15, 272-300.
St. Clair, S. W. (2011). Missing data treatments at the second level of hierarchical linear models. (Doctoral Dissertation. University of North Texas, Denton, USA).
Su, Y.S.,Goodrich, B. & Kropko, J. (2015). Package “mi”. https://cran.r-project.org/web/packages/mi/mi.pdf
Şahin Kürşad, M. (2014). Sıklıkla kullanılan kayıp veri yöntemlerinin betimsel istatistik, güvenirlik ve geçerlik açısından karşılaştırması. (Yüksek Lisans Tezi, Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü, Bolu).
Tabachnick, B.G. & Fidel (2001). L.S. Using multivariate statistics (4th ed.), Needham Heights, MA: Allyn & Bacon.
Traub, E. R. (1994). Reliability for the social sciences: Theory and Applications. Measurement methods for the social sciences. Sage Publications, 1994.
Uyar, Ş. (2015). Gözlenen gruplara ve örtük sınıflara göre belirlenen değişen madde fonksiyonunun karşılaştırılması, (Doktora Tezi. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara).
Van Buuren, S. & Groothuis-Oudshoorn, K. (2015), Package “mice”. https://cran.rproject.org/web/packages/mice/mice.pdf
Weaver, B. & Maxwell, H. (2014). Exploratory factor analysis and reliability analysis with missing data: A simple method for SPSS users. The Quantitative Methods for Psychology, 10 (2), 143-152.
Yuan, K. H. & Lu, L. (2008). SEM with missing data and unknown population distributions using two-stage ML: Theory and its application. Multivariate Behavioral Research, 43, 621-652.
Yurdugül, H. (2006). The comparison of reliability coefficients in parallel, tau-equivalent, and congeneric measurements. Ankara University, Journal of Faculty of Educational Sciences, 39(1), 15-37.
Yurdugül, H. (2008). Minimum sample size for cronbach’s coefficient alpha: a monte-carlo study. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 35, 397-405.
Zinbarg, R. E.,Revelle, W., Yovel, I.&Li, W. (2005). Cronbach’s α, Revelle's β and McDonald's ω: their relations with each other and two alternative conceptualizations of reliability. Psychometrika, 70 (1), 1-11.