Contribution des mesures d'information à la modélisation crédibiliste de connaissances
Contribution of information measures in evidential knowledge modelling
OPEN ACCESS
Within the framework of pattern recognition, many methods of classification were develo ed. More recently, techniques using the ~empster-Shafer'stheory tried to deal with the problem related to the management OPthe uncertainîy and the data fusion. In this paper, we propose a classification method based on this theory. The main difficuliy of this method is the knowledge modelling. To solve this problem, several methods were proposed, in particular by A. Appriou 11, 21. ln order to respect the bayesian approach in the case where the a priori probabilities are perfectly known, we use this method to initialize a belief structure. Our contribution lies in the use of reliability factors for each information source according to each hypothesis. These coefficients are defined by a dissirnilarity measure between two approximations of unknown probability distributions. These are determined by histograms built by the use of information criteria. ~ h e least relicible belief structure are attenuated. Then, we use the Dempster's rule of combination to aggregate the attenuated sources. ResuIts on synthetic data are given in order to illustrate the method.
Résumé
Dans le cadre de la reconnaissance de formes, plusieurs méthodes de classification ont été développées. Plus récemment, des méthodes utilisant la théorie de Dempster-Shafer ont été mises au point afin de gérer les problèmes liés à la fusion d'informations imparfaites. Nous proposons ici une méthode de discrimination fondée sur l'utilisation de structures de croyance. L'une des principales difficultés de la théorie de l'évidence réside dans la modélisation des connaissances. Afin de pallier ce problème, plusieurs méthodes de modélisation des connaissances à I'aide de fonctions de croyance ont vu le iour, dont celle proposée par A. Appriou [ l , 21. Afin de respecter l'inférence bayésienne dans le cas de la connaissance parfaite des probabilités a priori, nous utilisons cette méthode pour initialiser nos fonctions de croyance. Notre contribution réside dans l'utilisation de coefficients de fiabilité attribués à chaque source d'information selon chaque hypothèse afin de modéliser le plus précisément possible l'information disponible. Ces coefficients sont définis par l'intermédiaire d'une mesure de ressemblanceentre des approximations de lois de probabilités a priori inconnues. Celles-ci sont déterminées par des histogrammes construits à I'aide de critères d'information. Les structures de croyance issues des sources les moins fiables sont alors affaiblies. Ensuite, les informations sont fusionnées à I'aide de l'opérateur de combinaison de Dempster. Des résultats sur des données synthétiques sont proposés afin d'illustrer la méthode.
Dempster-Sliafer's theory, imperfect information fusion, information criteria
Mots clés
Théorie de Dempster-Shafer, Fusion d'informations imparfaites, Critères d'information
[1] A. Appriou, << Probabilités et incertitude en fusion de données multi-senseurs », Revue Scientifique et Technique de la Defense, vol. 11, pp, 27-40, 1991.
[2] A. Appriou, « Multisensor signal processing in the framework of the theory of evidence », in Application of Mathematical Signal Processing Techniques to Mission Systems, pp. 5-1, 5-31, Research and Technology Organization (Lecture Series 216), November 1999.
[3] I. Bloch, H. Maître, « Fusion de données en traitement d'images : Modèles d'informations et décisions », Traitement du Signal, vol. Numéro Spécial :Fusion de données, no. 11, pp. 435-446, 1994.
[4] I. Bloch, « Some aspects of Dempster-Shafer evidence theory for classification of multi-modality medical images taking partial volume effect into account », Pattern recognition Letters, vol. 17, pp. 905-919, 1996.
[5] G. Cooper, E. Herskovits, « A bayesian method for constructing bayesian belief networks from databases », in Proceedings of Seventh Conference on Uncertainty in Artificial Intelligence, (Los Angeles), pp. 86-94, Morgan Kaufman, 1991.
[6] U. Fayyad and P. Smyth, « Image database exploration: Progress and challenge », in Proceedings of the 1993 AAAI Workshop on Knowledge Discovery in Database, 1993.
[7] D. Heckerman, D. Geiger, and D. Chickering, « Learning bayesian networks: The combination of knowledge and statistical data », Machine Learning, vol. 20, pp. 197-243, 1995.
[8] A. Appriou, « Formulation et traitement de I'incertain à l'analyse multi-senseurs », in 14ème Colloque GRETSI, pp. 951-954, 1993.
[9] S. Chauvin, Evaluation des théories de la décision appliquées à la fusion de capteurs en imagerie satellitaire, PhD thesis, Université de Nantes, 1995.
[I0]T. Carron, Segmentation d'images couleur dans la base teinte-luminance-saturation: approche numérique et symbolique, PhD thesis, Université de Savoie, 1995.
[11]J. Desachy, L. Roux, E. Zahzah, « Numeric and symbolic data fusion: A soft computing approach to remote sensing images analysis », Patter Recognition Letters, vol. 17, pp. 1361-1378, 1996.
[12]M. Degroot, Optimal Statistical Decisions, New York : McGraw-Hill, 1970.
[13]R. Duda, P. Hart, Pattern Classification and Scene Analysis,New York: John Wiley & Sons, 1973.
[14]B. Dubuisson, Diagnostic et Reconnaissances de Formes, Hermes, 1990.
[15]D. Dubois and H. Prade, Decison Evaluation Methods under Uncertainty and Imprecision, vol. 310 of Lecture Notes in Economics and Mathematical Systems: Combining Fuzzy Impression with the Probabilistic Uncertainty in Decision Making, pp. 48-65, Berlin : Springer-Verlag. j.kacprzyk and m. federizzi ed., 1987.
[16]J. Bezdek, « Fuzziness vs. probability - the n-th round », IEEE Trans. on Fuzzy Systems, vol. 2, no. 1, pp. 1-42, 1994.
[17]D. Dubois and H. Prade, « The use of fuzzy numbers in decision analysis », in Fuzzy Information and Decision Processes (M. Gupta and E. Sanchez eds.), (New York), pp. 309-31, North-Holland, 1982.
[18]D. Dubois, « Belief structures, possibility tlieory and decomposable confidence measures on finite sets », Comput. Artif Intell., vol. 5, no. 5, pp. 403-416, 1986.
[19]D. Dubois and H. Prade, Possibility Theory: An Approach to Computerized Processing of Uncertainty. New York : Plenum Press, 1988.
[20]G. Shafer. A Mathematical Theory of Evidence, Princeton University Press, 1976.
[21]A. Dempster, « Upper and lower probabilities induced by multivalued mapping », Annals of Mathematical Statistics, vol. AMS-38, pp. 325-339, 1967.
[22]P. Smets, « What is Dempster-Shafer's model? », in Advances in the Dempster-Shafer Theory of Evidence (R. Yager, M. Fedrizzi. and J. Kacprzyk. eds.), pp. 5-34, Wiley, 1994.
[23]P. Smets, R. Kennes, «The transferable belief model», Artificial Intelligence, vol. 66, no. 2. pp.191-234, 1994.
[24]P. Smets, « The combination of evidence in the transferable belief model », IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 12, no. 5, pp. 447-458, 1990.
[25]T. Denœux, « A k-nearest neighbour classification rule based on Dempster-Shafer theory »,IEEE Trans. Syst. Man. and Cyber., vol. 25, no. 5, pp. 804-813,. 1995.
[26]A. Nifle, R. Reynaud, « Un argument pour le choix entre décision pignistique et maximum de plausibilité en théorie de l'évidence », in Seizième Colloque GRETSI, (Grenoble), pp. 1411-1414, 1997.
[27]L. Zadeh, « Fuzzy sets as a basis for a theory of possibility ». Fuzzy Sets and Systems, vol. 1, pp. 3-28, 1978.
[28]R. Yager, «On the Dempster-Shafer framework and combination rules», Information Sciences, vol, 41, pp. 93-138, 1987.
[29]D. Dubois, H. Prade, « A set-theoric view of belief functions : Logical operations and approximations by fuzzy sets », Internatioinal Journal of General Systems, vol. 12, pp. 193-226, 1986.
[30]P. Smets, « Constructing the he pignistic probability in a context of uncertainty », in Uncertainty in Artificial Intelligence 5 (M. Henrion. R. D. Schachter, L. Kanal, and J. Lemmer, eds.), (Amsterdam). pp. 29-40. North-Holland, 1990.
[31]T. Denœux, « Analysis of evidence-theory decision rules for pattern classification », Pattern Recognization, vol. 30, no. 7, pp. 1095-1107, 1997.
[32]S. Mathevet, « Application de la théorie de I'évidence à la combination de segmentations en régions », in Dix-Septième Colloque GRETSI (Vannes), pp. 635-638, Septembre 1999.
[33] D. de Brucq, « Characterization of thc optimal number of classes for a histogram with Hellinger's distance », in Signal Processing IV : Theories and Applications (J. Lacoume, A. Chehikian, N. Martin, and J. Malbos, eds.), pp. 1117-1120. EUSICOP'88. September. 1988.
[34]O. Colot, C. Olivier. P. Courtellemont, A. El-Matouat, D.de Brucq, « Information criteria and abrupt changes in probability laws », in Signal Processing VII: Theory and Applications (M. Holt, C. Cowan, P. Grant, and W. Sandham,eds.), pp. 1855-1858, EUSIPCO'94, September 1994.
[35]M. Akaike, « Information theory and an extension of the maximum likelihood principle ». in Proc. Of the 2nd Int. Symp. Of Info. Thoery(B.Petrov and F. Csaki, eds.). (Budapest), pp. 267-281, 1973.
[36]J.Rissanen, T, Speed, and B. Yu. «Density estimation by stochastic complexity », IEEE Trans. on Information Theory, vol. 58, no. 2, pp. 315-323. 1992.
[37]E. Hannan, « The estimation of the order of an ARMA process », Annals of Statistics, vol. 8, no. 5. pp. 1071-1081, 1980.
[38]M. Basseville, « Distance measures for signal processing and pattern recognition », Rapport de recherche interne 899, INRIA, Rennes, 1988.
[39]A. El Matouat and C. Olivier, « Sélection du nombre de classe d'un histogramme et contraste de Kullback », in 25ème Journèes Internationales de Statistiques, pp. 193-196, ASU, 1993.
[40] Y. Sakamoto, M. Ishiguro, and G. Kitagawa, Akaïke Information Criterion Statistics, Tokyo: KTK Scientific Publishers, 1986.