Un estimateur de la L2-mesure de dépendance probabiliste pour la réduction de dimension vectorielle
Cas multiclasse
OPEN ACCESS
We introduce an estimate of the L2-probabilistic dependence measure constructed with the generalized Fourier series which is able to realize a linear vector feature dimensional reduction in the discriminate multi-class problem. It generalizes the Patrick-Fischer distance estimate generally used for dimensionality reduction of the feature space in the case of binary classification. It has a direct relationship with the probability classification error. We compare the proposed algorithm with the well known linear discriminate analysis (LDA) and with a generalized version of a multi class recursive linear extractor based on the L2-probabilistic dependence measure (R1D L2-PMD). For vector Gaussian mixtures such comparison is done in the mean of the probability error of classification which is estimated by a multivariate Kernel probability density function. The corresponding smoothing parameters are optimized analytically in the sense of the Mean Integrated Square Error (MISE). The non Gaussian case is evaluated with the error of the k nearest neighborhood classifier. Finally we will illustrate the importance of the proposed method by testing it in the context of the face recognition.
RÉSUMÉ
Nous évaluons ici les performances d’un estimateur de la L2-mesure de dépendance probabiliste en vue de la réduction de dimension bidimensionnelle linéaire dans le cas multiclasse. Cette quantité qui présente un lien direct avec la probabilité d’erreur de classification, est construite à l’aide des séries de Fourier généralisées. Nous comparons l’algorithme proposé d’une part, à l’analyse discriminante linéaire introduite par Fisher et, d’autre part, à une version généralisée au cas multiclasse se basant sur l’extracteur linéaire récursif de la L2-mesure de dépendance probabiliste. Dans le cas non gaussien, cette évaluation sera faite au sens de l’erreur des k plus proches voisins. L’estimateur à noyau des densités de probabilité est calculé dans le contexte du paramètre de lissage optimisé au sens de la moyenne quadratique intégrée. Ce dernier servira à l’estimation de la probabilité d’erreur de classification des mélanges de vecteurs gaussiens. Nous montrons sur un exemple de bases d’images de visages l’intérêt du réducteur de dimension proposé relativement aux méthodes conventionnelles.
L2-probabilistic dependence measure, reduction dimension, smoothing parameter
MOTS-CLÉS
L2-mesure de la dépendance probabiliste, réduction de dimension, paramètre de lissage
Aladjem M. E. (1996). Two class pattern discrimination via recursive optimization of PatrickFisher distance. Proc. of the 13th International Conference on Pattern Recognition, vol. 2, p. 60-64.
Aladjem M. E. (1997). Linear discriminant analysis for two-classes via removal of classification structure. IEEE Trans. Pattern Anal. Mach. Intell, vol. 19, p. 187 192.
Aladjem M. E. (1991). PNM: A program for parametric and nonparametric mapping of multidimensional data. Computers in Biology and Medicine, vol. 21, p. 321-343.
Diaconis P., Freedman D. (1984). Asymptotics of graphical projection pursuit, The Annals of Statisticsv, vol. 12, p. 793-815.
Drira W., Ghorbel F. (2010). Réduction de dimension par un nouvel estimateur de la distance de Patrick Fisher à l’aide des fonctions orthogonales. 42e Journées de Statistique. Marseille, 24-28 Mai.
Drira, W., Ghorbel F. (2012a). Dimension reduction by an orthogonal series estimate of the probabilistic dependence measure. International Conference on Pattern Recognition Applications and Methods ICPRAM, Portugal.
Drira W., Ghorbel F. (2012b). Vers un classifieur de Bayes pour les grandes dimensions obtenu par analyse discriminante basée sur un estimateur non paramétrique de la L2-mesure de dépendance probabiliste, édité par F. Ghorbel, S. Derrode et O. Alata édition Arts Pi Tunis.
Fisher R.A. (1936). The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics, vol. 7, p. 179-188.
Hillion A., Masson P., Roux C. (1988). Une méthode de classification de textures par extraction linéaire non paramétrique de caractéristiques. Traitement du signal, vol. 5, n° 4.
Jesorsky O., Kirchberg K., Frischholz R. (2001). Robust Face Detection Using the Hausdorff Distance. Proc. Third International Conference on Audio and Video based Person Authentication. Halmstad, Sweden, 6-8 June. p. 90-95. https://support.bioid.com/downloads/facedb/index.php
Loog M., Duin R.P.W., Haeb-Umbach R. (2001). Multiclass Linear Dimension Reduction by Weighted Pairwise Fisher Criteria. IEEE transaction on PAMI, vol. 23, n° 7.
Miguel J., Murillo L., (2007). Maximization of Mutual Information for Supervised Linear Feature Extraction. IEEE transactions on Neural Networks, vol. 18, n° 5.
Nenadic Z. (2007). Information Discriminant Analysis: Feature Extraction with an Information-Theoric Objective. IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 29, n° 8.
Parzen E. (1962). On estimation of a probability density function and mode. The Annals of Mathematical Statistics, vol. 33, n° 3, p. 1065-1076.
Patrick E.A., Fisher F.P. (1969). Non parametric feature selection. IEEE Trans. On Inf. Theory, vol. IT-15, p. 577-584.
Saoudi S., Troudi M., Ghorbel F., (2009). An Iterative Soft Bit Error Rate Estimation of Any Digital Communication Systems Using a Nonparametric Probability Density Function. EURASIP Journal on Wireless Communications and Networking, vol. 2009.
Silverman BW. (1986). Density Estimation for Statistics and Data Analysis, London, Charman and Hall.