Classifieurs Probabilistes Parcimonieux
Sparse probabilistic classifier
OPEN ACCESS
The scores returned by support vector machines are often used as a confidence measures in the classification of new examples. However, there is no theoretical grounds sustaining this practice. Thus, when classification uncertainty has to be assessed, it is safer to resort to classifiers estimating conditional probabilities of class labels. Here, we focus on the ambiguity in the vicinity of the boundary decision. We propose an adaptation of maximum likelihood estimation, instantiated on logistic regression. The model outputs proper conditional probabilities into a user-defined interval and is less precise elsewhere. The model is sparse, in the sense that few examples contribute to the solution. The computational efficiency is thus improved compared to logistic regression. Furthermore, preliminary experiments show improvements over standard logistic regression with performances similar to support vector machines.
Résumé
Les scores retournés par les séparateurs à vaste marge sont souvent utilisés comme mesures de confiance pour la classification de nouveaux exemples. Cependant, il n'y a pas de fondement théorique à cette pratique. C'est pourquoi, lorsque l'incertitude de classification doit être estimée, il est plus sûr de recourir à des classifieurs qui estiment les probabilités conditionnelles des classes. Ici, nous nous concentrons sur l'ambiguïté à proximité de la frontière de décision. Nous proposons une adaptation de l'estimation par maximum de vraisemblance. Le critère proposé vise à estimer les probabilités conditionnelles, de manière précise à l'intérieur d'un intervalle défini par l'utilisateur, et moins précise ailleurs. Le modèle est aussi parcimonieux, dans le sens où peu d'exemples contribuent à la solution. Nous appliquons ce critère à la régression logistique. Ce modèle de régression logistique parcimonieuse sera ensuite validé par le jeu de données Forest Covertype de l'UCI.
Apprentissage statistique, Classifieur parcimonieux, Classes déséquilibrées
P. L. BARTLETT, M. I. JORDAN, et J. D. MCAULIFFE. Large margin classifiers: convex loss, low noise, and convergence rates. Dans Advances in Neural Information Processing Systems, 16, 2004.
P. L. BARTLETT et A. TEWARI. Sparseness vs estimating conditional probabilities: Some asymptotic results. Journal of Machine Learning Research, 8 :775–790, 2007. ISSN 1533-7928.
S. BOYD et L. VANDENBERGHE. Convex Optimization. Cambridge University Press, March 2004. ISBN 0521833787.
O. CHAPELLE. Training a support vector machine in the primal. Neural Computation, 19(5) :1155–1178, 2007. ISSN 0899-7667.
C. ELKAN. The foundations of cost-sensitive learning. Dans IJCAI, pages 973–978, 2001.
Y. GRANDVALET, J. MARIÉTHOZ, et S. BENGIO. A probabilistic interpretation of SVMs with an application to unbalanced classification. Dans Y. Weiss, B. Schölkopf, et J. C. Platt, éditeurs,
Advances in Neural Information Processing Systems 18, pages 467–474. MIT Press, 2006.
S. S. KEERTHI, K. B. DUAN, S. K. SHEVADE, et A. N. POO. A fast dual algorithm for kernel logistic regression. Machine Learning, 61(1-3): 151–165, 2005. ISSN 0885-6125.
G. LOOSLI, S. CANU, S. VISHWANATHAN, et M. CHATTOPADHAY. Boîte à outils SVM simple et rapide. RIA – Revue d’Intelligence Artificielle, 19(4/5) :741–767, 2005.
E. OSUNA, R. FREUND, et F. GIROSI. Support vector machines : Training and applications. Rapport Technique A.I. Memo No. 1602, M.I.T. AI Laboratory, 1997.
J. C. PLATT. Probabilities for SV machines. Dans A. J. Smola, P. L. Bartlett, B. Schölkopf, et D. Schuurmans, éditeurs, Advances in Large Margin Classifiers, pages 61–74. MIT Press, 2000.
V. ROTH. Probabilistic discriminative kernel classifiers for multi-class problems. Dans Proceedings of the 23rd DAGMSymposium on Pattern Recognition, pages 246–253, London, UK, 2001. SpringerVerlag. ISBN 3-540-42596-9.
K. M. TING. A comparative study of cost-sensitive boosting algorithms. Dans Proceedings of the 17th International Conference on Machine Learning, pages 983–990. Morgan Kaufmann, 2000.
S. V. N. VISHWANATHAN, Alex J. SMOLA, et M. NARASIMHA MURTY. SimpleSVM. Dans Proceedings of the 20th International Conference on Machine Learning, pages 760–767, 2003.
J. ZHU et T. HASTIE. Kernel logistic regression and the import vector machine. Dans Advances in Neural Information Processing Systems 13, 2001.