Bootsrap Yönetiminin Ridge Regrasyonda Uygulanması

İstatistiksel analizlerde, en yaygın olarak kullanılan yöntemlerden biri regresyon analizidir. Gauss-Markov varsayımları altında en küçük kareler yöntemi ile, en iyi takdir ediciler elde edilmesine rağmen, bağımsız değişkenler arasında ilişki olması durumunda, en küçük varyansa sahip takdir edici özelliğini kaybetmektedir. Bu duruma önerilen çözüm yöntemlerinden biri ridge regresyondur. Ridge regresyon ile elde edilen takdir edicilerin varyansı en küçük kareler yöntemi ile bulunan varyanslara göre daha küçüktür. Bu çalışmada ridge regresyonda parametrelerin tahmin edilmesinde Efron(1979) tarafından önerilen ve bir örneklemden tekrarlı örneklemlerin seçilmesi esasına dayanan Bootstrap yöntemi kullanılarak takdir edicilerin dağılımları ortaya konulmaya çalışılmıştır. Çoklu bağlantı olan veri setinde ridge regresyon yöntemi kullanılarak elde edilecek olan hata terimlerinden tekrarlı örneklemler seçilerek en iyi parametre takdir edicileri elde edilmiş ve uygulama sonucunda elde edilen sonuçlar karşılaştırılmıştır.

Regression analysis is the most frequently used tool in statistics. Under the Gauss Markov assumption maximum likelihood estimators are the best estimator. However, these estimators do not have the minimum variance if the independent variables have multicollinearity. The remedy for this problem is the Ridge regression. The estimators obtained by Ridge regression have less variance compare to the maximum likelihood estimation. In this study ridge regression estimator are going to be estimated by bootstrap techniques. At the end of the study the distribution of the estimators are going to be shown.

PDF

___

Berry W. D. (1993), Understanding Regression Assumptions, Sage publications.

Efron B. (1979), “Bootstrap Methods: Another Look at the Jackknife; Annals of Statistics; 7.

Efron B., Tibshirani, R. (1993), “An Introduction to the Bootstrap; Chapman&Hall; New York.

Fox, J. (1997), Applied Regression Analysis Linear Models and Related Methods, Sage Publication, USA.

Hoerl, A.E., Kennard R.W., (1970a), “Ridge Regression: Biased Estimation for Nonorthogonal Problems”, Technometrics, Vol: 12-No:1.

Hoerl, A.E., Kennard R.W., (1970b), “Ridge Regression: Applications to Nonorthogonal Problems”, Technometrics, Vol: 12-1.

Hoerl, A.E., Kennard R.W., Baldwin K.F., (1975), “Ridge Regression: Some Simulation”, Communications in Statistics, 4.

Liu, Y. R, (1988), “Bootstrap Procedures Under Some Non-I.I.D. Models” Annals of Statistics, Vol. 16, No.4.

McDonald G.C., Galarneau D. I. (1975), “A Monte Carlo Evaluation of some Ridge Type Estimators”, Journal of American Statistical Association, 70-407.

Montgomery D.C., Peck E., (1992), Introduction to Linear Regression Analysis, John Wiley & Sons, s. 305-324.

Shao, J., Tu, D. (1995), The Jackknife and Bootstrap, Springer-Veriag; New York.

Stine, Robert, (1985), Bootstrap Prediction Intervals For Regression, Journal of American Statistical Association, Vol. 80, No: 392.

Vinod H.D., Ullah A. (1981), Recent advances in regression methods, Marcel Dekker.