194122

Katı Kümeleme ve Yeni Bir Geçiş Fonksiyonuyla Uzman Karışımlarında Sınıflandırma

Uzman Karışımları, Kolektif Öğrenme metotlarından biridir ve sınıflandırma başarısını artırmak için yaygın olarak kullanılmaktadır. Bu algoritmada, veri seti yumuşak kümeleme ile alt bölümlere ayrılır. Her bir bölüm için ayrı bir sınıflandırıcı uzman oluşturulur ve o bölümdeki örneklerle eğitilir. Belirlenen bir geçiş fonksiyonu ile de uzmanların kararları birleştirilerek sınıflandırma işlemi yapılır. Bu çalışmada veri seti, literatürde önerilen yumuşak kümeleme yerine katı kümeleme yöntemiyle alt veri setlerine bölünmüştür ve her bir alt veri seti için ayrı bir sınıflandırıcı atanmıştır. Uzmanların kararları da önerilen yeni bir geçiş fonksiyonu ile birleştirilmiştir. Bu geçiş fonksiyonu sayesinde, her hangi bir test noktası için tüm uzmanların o test noktasına olan uzaklıklarına bağlı olarak verdikleri kararlar ağırlıklandırılarak birleştirilir ve ortak komite kararı hesaplanmıştır. Bir grup veri seti üzerinde yapılan denemelerde, karar ağaçları ve k en yakın komşuluk algoritması gibi tekil sınıflandırıcılara göre uzman karışımlarının daha başarılı sonuçlar verdiği gözlemlenmiştir.

Anahtar Kelimeler:

Uzman karışımları, geçiş fonksiyonu, sınıflandırma

PDF

___

Jacobs R, Jordan M, Nowlan J, Hinton G.E., "Adaptive mixtures of local experts" Neural Computer, vol. 3, no. 1, 79–87, 1991.
Alpaydın E, Uzman Karışımları, Yapay Öğrenme Kitabı, Boğaziçi Üniversitesi Yayınevi, ISBN: 9786054238491, 373-376, 253-257, 2010.
Yuksel, E. Twenty Years of Mixture of Experts. IEEE Transactions On Neural Networks And Learning Systems, 1177-1193. 2012.
Akben, S.B., Alkan, A., Öznitelikler Arası Korelasyonun Düşük Olduğu Veri Kümelerinde Sınıflandırma Başarısını Artırmak İçin Yoğunluk Temelli Öznitelik Oluşturma, Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, Vol.30, No.4, 597-603, 2005.
Dempster, A.P., Laird, N.M., Rubin, D.B. "Maximum Likelihood from Incomplete Data viathe EM Algorithm". Journal of the Royal Statistical Society, Series B 39, 1-38, 1977.
Chamroukhi, F., "Non-Normal Mixtures of Experts." arXiv preprint arXiv:1506.06707, Fransa, 1-61, 2015.
Bulut F., Amasyalı M.F., Sönmez A.C., “Uzman Karışımlarında Yeni Bir Yaklaşım: Uzman Kararlarının Yeni Bir Geçiş Fonksiyonuyla Birleştirmesi”, Akıllı Sistemlerde Yenilikler ve Uygulamaları, ASYU-INISTA 2014, İzmir, 62-66, 2014.
Hien D. Nguyen and Geoffrey J. McLachlan. Laplace mixture of linear experts. Computational Statistics & Data Analysis, ISSN 0167-9473, 2014.
Shepard, D. A Two-dimensional interpolation function for irregularly spaced data. Proceedings of the 23rd National Conference of the ACM, 517-523, 1968.
Mitchell, T., Machine Learning, Title: 8.2.1 Distance-Weighted-kNN. USA: Mc Grow-Hill, 233-236, 156-159, 1997.
Jordan M.I., Jacobs R.A., "Hierarchical Mixture of Experts and the EM Algorithm”, Journal Neural Computation archive, Vol.6, Issue 2, ISBN 0070428077, 181-214, 1994.
Xu, Lei, “RBF nets, Mixture Experts, and Bayesian Ying-Yang Learning”, Elsevier Neurocomputing 19 1998, 223-257.
Kubat, M., “Decision Trees Can Initialize Radial-Basis Function Networks”, IEEE Transactıon On Neural Networks, Vol.9, No.5, 813-821, 1998.
Zhi-Hua Zhou, “Ensemble Methods: Foundations and Algorithms”, CRC Press, 270-272, 2012.
Witten I.H., Frank E., Data Mining: Practical Machine Learning Tools and Techniques, 2nd Edition, Elsevier, ISBN: 9780123748560, 196-198, 2005.
Myatt, G.J, Making Sence of Data: “A Practical Guide to Exploratory Data Analysis and Data Mining”, Wiley, ISBN: 9781118407417, 120-129, 2007.
Chen, Z., Haykin, S., Eggermont, J. J., & Becker, S., Correlative learning: a basis for brain and adaptive systems (Vol. 49). John Wiley & Sons, 2008.
Bache, K. & Lichman, M. UCI Machine Learning Repository, URL: http://archive.ics.uci.edu/mlIrvine, CA: University of California, School of Information and Computer Science, 2014.
Sanguinetti G., "Automatic Determination of the Number of Clusters Using Spectral Algorithms," Machine Learning for Signal Processing, 2005 IEEE Workshop, Vols. ISBN:0-7803-9517-4, 55-60, 2005.
Fraley, C., Adrian E.R., "How many clusters? Which clustering method? Answers via model-based cluster analysis." The computer journal 41.8: 578-588, 1998.
Brugger D., Bogdan M., Rosenstiel W., "Automatic Cluster Detection in Kohonen's SOM" Neural Networks, IEEE Transactions, ISSN:1045-9227, vol. 19, no. 3, 442-459, 2008.
Ho, T. K., & Basu, M. “Complexity Measures of Supervised Classification Problems”, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.24, No.3, 289-300, 2002.
Basu M, Tin Kam Ho, “Data Complexity in Pattern Recognition” Springer Science & Business Media, 2006.