Two-stage Classification System Combining Model-based Approach and Support Vector Machines. Système de Classification à Deux Niveaux de Décision Combinant Approche par Modélisation et Machines à Vecteurs de Support

The motivation of this work is based on two key observations. First, the classification algorithms can be separated into two main categories: discriminative and model-based approaches. Second, two types of patterns can generate problems: ambiguous patterns and outliers.While, the first approach tries to minimize the first type of error, but cannot deal effectively with outliers, the model-based approaches make the outlier detection possible, but are not sufficiently discriminant.Thus, we propose to combine these two different approaches in a two-stage classification system embedded in a probabilistic framework. In the first stage we pre-estimate the posterior probabilities with a model-based approach and we re-estimate only the highest probabilities with appropriate Support Vector Machine(SVM) in the second stage.Another advantage of this combination is to reduce the principal burden of SVM: the processing time necessary to make a decision. Finally, the first experiments on the benchmark database MNIST have shown that our dynamic classification process allows to maintain the accuracy of SVMs, while decreasing complexity by a factor 8.7 and making the outlier rejection available.

Résumé

Il est possible de distinguer deux types de données pouvant causer des problèmes à un classifieur:les données ambiguës et les données aberrantes. À ces deux types d’erreurs peuvent être associés deux types de rejet:le rejet d’ambiguïté et le rejet d’ignorance. Or,si les approches de classification agissant par séparation sont mieux adaptées au premier type de rejet,elles s’avèrent peu efficaces pour traiter les données aberrantes. Par contre,les approches qui agissent par modélisation sont par nature mieux adaptées à ce second type de rejet,mais ne s’avèrent que peu discriminantes. Ainsi,nous proposons de combiner les deux types d’approche au sein d’un système de classification à deux niveaux de décision. Au premier niveau, une approche par modélisation sera utilisée pour rejeter les données aberrantes et pré-estimer les probabilités a posteriori. En cas de conflit entre plusieurs classes,des machines à vecteurs de support (SVM) appropriées seront utilisées pour ré-estimer plus précisément les probabilités des classes en conflit et permettre de rejeter efficacement les données ambiguës. En outre,cette combinaison présente l’avantage de réduire la complexité de calcul associée à la prise de décision des SVM. Ainsi,les résultats obtenus sur un problème classique de reconnaissance d’images de chiffres manuscrits isolés ont montré qu’il est possible de maintenir les performances associées aux SVM,tout en réduisant la complexité d’un facteur 8.7 et en permettant de filtrer efficacement les données aberrantes.