Bilgi Erişimi için Eşli bir Sıralama Algoritması

Yapay öğrenmede temel problemlerden biri, ilgilenilen birimler arasındaki tercih ilişkilerinin belirlenmesidir. Bukapsamda sıralama, verilen bir tercih ilişkisine göre birimleri düzenleme yeteneğine sahip bir fonksiyonuöğrenmek olarak tanımlanabilir. Bu tip problemler genellikle örneklerin çiftler olduğu sınıflandırma problemiolarak ele alınır. Bu çalışmada ise genel sıralamanın bir tahmini için eşli karşılaştırmalara dayanan bir yaklaşımsunulmuştur. Eşli sıralama hatasını minimize eden bu sıralama problemi, bir doğrusal eşitlikler sistemi ile temsiledilmiştir. Bu doğrusal eşitlik sisteminin çözülmesiyle sıralama fonksiyonlarının öğrenilmesi için gradyan düşümüalgoritmasının geliştirilmiş bir versiyonu önerilmektedir. Ayrıca, oluşturulan sıralama modelinin genelleştirmeperformansını kontrol edebilmek için Tikhonov düzeltmesi de bu çalışma kapsamında kullanılmıştır. Geliştirilenhızlı gradyan düşümü algoritması, düzeltme seviyesinden bağımsız olarak çok kısa bir sürede çözümeyakınsamıştır.

A Pairwise Ranking Algorithm for Information Retrieval

One of the main problems in machine learning is the determination of preference relations between interested units. In this context, ranking can be defined as learning a function with the ability to organize units according to a given preference relation. This type of problem is often treated as a classification problem where the examples are formed by pairs. In this study, an approach based on pairwise comparisons is presented for an estimation of a general ordering. This ranking problem that minimizes the pairwise ranking error is represented by a system of linear equations. An improved version of the gradient-descent algorithm is proposed to learn the ranking functions for solving this system of linear equations. In addition, Tikhonov regularization is also used to control the generalization performance of the ranking model. The developed rapid gradient descent algorithm converges to the solution in a very short time, regardless of the regularization level.

PDF

___

Caruana R., Baluja S., Mitchell, T. 1996. Using the future to "sort out" the present: Rankprop and multitask learning for medical risk evaluation, in Advances in Neural Information Processing Systems, 959-965.
Herbrich R., Graepel, T., Obermayer, K. 2000. Large margin rank boundaries for ordinal regression, in Advances in Large Margin Classifiers, MIT Press, 115-132.
Crammer, K., Yoram S. 2002. Pranking with ranking, in Advances in neural information processing systems, 641-647.
Menon A.K., Williamson, R.C. 2016. Bipartite ranking: a risk-theoretic perspective, Journal of Machine Learning Research, 17 (195): 1-102.
Haltaş A., Alkan A., Karabulut M. 2015. Performance analysis of heuristic search algorithms in text classification, Journal of the Faculty of Engineering and Architecture of Gazi University, 30 (3): 417-427.
Kaya Y., Ertugrul, O.F. 2016. A novel feature extraction approach for text-based language identification: Binary patterns, Journal of The Faculty of Engineering and Architecture of Gazi University, 31 (4): 1085-1094.
Harrington, E. 2003. Online ranking/collaborative filtering using the Perceptron algorithm, International Conference on Machine Learning, pp250-257.
Dekel, O., Singer, Y., Manning, C.D. 2004. Loglinear models for label-ranking, in Advances in neural information processing systems, 497-504.
Freund, Y., Iyer, R., Schapire, R., Singer, Y. 2003. An efficient boosting algorithm for combining preferences, Journal of Machine Learning Research, 4, 933-969.
Song Y., Wang, H., He, X. 2014. Adapting deep ranknet for personalized search, Proceedings of the 7th ACM international conference on Web search and data mining, pp83-92, ACM.
Zong, W., Huang, G.B. 2014. Learning to rank with extreme learning machine, Neural processing letters, 39 (2): 155-166.
Busa-Fekete, R., Hüllermeier, E. 2014. A survey of preference-based online learning with bandit algorithms, International Conference on Algorithmic Learning Theory, pp18-39, Springer, Cham.
Airola, A., Pahikkala, T., Salakoski, T. 2010. Large scale training methods for linear RankRLS, Proceedings of the ECML/PKDD-Workshop on Preference Learning, E. Hüllermeier and J. Fürnkranz, Eds.
Taş, E., Memmedli, M. 2017. Near optimal step size and momentum in gradient descent for quadratic functions, Turkish Journal of Mathematics, 41 (1): 110-121.
Lewis, D.D., Yang, Y., Rose, T.G., Li, F. 2004. Rcv1: A new benchmark collection for text categorization research, Journal of machine learning research, 5 (Apr): 361-397.