Entropie en traitement du signal - Entropy in signal processing

Entropie en traitement du signal

Entropy in signal processing

Ali Mohammad-Djafari

Laboratoire des Signaux et Systèmes {CNRS-SUPELEC-UPS} SUPELEC Plateau du Moulon, 91 192 Gif-sur-Yvette Cedex, France

Page: 
545-551
|
Received: 
11 March 1998
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

The main object of this work is to give a brief overview of the different ways the entropy has been used in signal and image processing. After a short introduction of different quantities related to the entropy and the maximum entropy principle, we will study their use in different fields of signal processing such as: source separation, model order selection, spectral estimation and, finally, general linear inverse problems.

Résumé

Le principal objet de cette communication est de faire une rétro-perspective succincte de l'utilisation de l'entropie et du principe du maximum d'entropie dans le domaine du traitement du signal. Après un bref rappel de quelques définitions et du principe du maximum d'entropie, nous verrons successivement comment l'entropie est utilisée en séparation de sources, en modélisation de signaux, en analyse spectrale et pour la résolution des problèmes inverses linéaires.

Keywords: 

Entropy, relative entropy, Kullback distance, mutual information, spectral estimation, inverse problems

Mots clés

Entropie, entropie croisée, distance de Kullback, information mutuelle, estimation spectrale, problèmes inverses

1. Introduction
2. Entropie En Séparation De Sources
3. Entropie En Modélisation De Signaux
4. Entropie En Analyse Spectrale
5. Entropie Pour La Résolution Des Problèmes Inverses Linéaires
6. Conclusions
  References

[1] C . Shannon and W. Weaver, The Mathematical Theory of Communication» , Bell System Technical Journal, vol . 27, pp . 379-423, 623-656, 1948 .

[2] E . T . Jaynes, «Information Theory and Statistical Mechanics i», Physical review, vol . 106, pp . 620-630, 1957 .

[3] E. T. Jaynes, «Information Theory and statistical Mechanics ii», Physical review, vol . 108, pp . 171-190, 1957 .

[4] E. T . Jaynes, «Prior Probabilities», IEEE Transactions on Systems Science and Cybernetics, vol . SSC-4, pp . 227-241, September 1968 .

[5] S . Kullback, Information Theory and Statistics . New York : Wiley, 1959 .

[6] Itakura and Saito, «A Statistical Method for Estimation of Speech Spectral Density and Formant Frequencies», Electron . and Commun ., vol . 53-A, pp . 36-43 . 1970 .

[7] L. Knockaert, «A Class of Statistical and Spectral Distance Measures based on Bose-Einstein Statistics», IEEE Transactions on Signal Processing, vol. 41 , no . 11, pp . 3171-3174, 1963 .

[8] M . Schroeder, «Linear Prediction, Entropy and Signal Analysis»,IEEEASSP Magazine, pp . 3-11, juillet 1984 .

[9] E. T. Jaynes, «On the Rationale of Maximum-Entropy Methods», Proceedings of the IEEE, vol. 70, pp . 939-952, September 1982 .

[10] J. Shore and R . Johnson, «Axiomatic Derivation of the Principle of Maximum Entropy and the Principle of Minimum Cross-Entropy», IEEE Transactions on Information Theory, vol . IT-26, pp . 26-37, January 1980 .

[11] J . E . Shore and R. W. Johnson, «Properties of Cross-Entropy Minimization» , IEEE Transactions on Information Theory, vol . IT-27, pp . 472-482, July 1981.

[12] A . Mohammad-Djafari, «Maximum d'entropie et problèmes inverses en imagerie», Traitement du Signal, pp . 87-116, 1994.

[13] J .-F. Bercher, Développement de critères de nature entropique pour la résolution des problèmes inverses linéaires . Thèse de Doctorat, Université de Paris-Sud, Orsay, février 1995 .

[14] G . Le Besnerais, Méthode du maximum d'entropie sur la moyenne, critèresde reconstruction d'image et synthèse d'ouverture en radio-astronomie . Thèse de Doctorat, Université de Paris-Sud, Orsay, décembre 1993 .

[15] J. Borwein and A . Lewis, «Duality Relationships for Entropy-Like Mini mization Problems», SIAM Journal of Control, vol . 29, pp . 325-338, March 1991 .

[16] H . Akaike, «Power spectrum Estimation Through autoregressive Model Fitting», Annals of Institute of Statistical Mathematics, vol . 21, pp . 407-419, 1969 .

[17] H . Akaike, «A New Look at the Statistical Model Identification», IEEE Transactions on Automatic and Control, vol. AC-19, pp . 716-723, December 1974 .

[18] D. Farrier, «Jaynes' principle and maximum entropy spectral estimation» , IEEE Transactions on Acoustics Speech and Signal Processing, vol . ASSP-32, pp . 1176-1183, 1984.

[19] M. Wax and T. Kailath, «Detection of Signals by Information Theoretic Criteria», IEEE Transactions on Acoustics Speech and Signal Processing, vol. 33, pp . 387-392, avril 1985 .

[20] M. Wax, «Detection and Localization of Multiple sources via the Stochastic Signals Model», IEEE Transactions on Signal Processing, vol . SP-39, pp. 2450-2456, novembre 1991 .

[21] T. Matsuoka and U . T.J., «Information Theory Measures with Application to Model Identification», IEEE Transactions on Acoustics Speech and Signal Processing, vol. 34, pp. 511-517, juin 1986 .

[22] J . P. Burg, «Maximum Entropy Spectral Analysis», in Proc. of the 37th Meeting of the Society of Exploration Geophysicists, (Oklahoma City), pp. 34-41, October 1967 .

[23] J. E. Shore, «Minimum Cross-Entropy Spectral Analysis», IEEE Transactions on Acoustics Speech and Signal Processing, vol . ASSP-29, pp- 230-237, April 1981 .

[24] R . Johnson and J . Shore, «Minimum Cross-Entropy Spectral Analysis» , IEEE Transactions on Acoustics Speech and Signal Processing, vol. ASSP -29, pp. 230-237, avril 1981 .

[25] J. McClellan, «Multidimensional Spectral Estimation», Proceedings of the IEEE, vol . 70, pp. 1029-1039, septembre 1982 .

[26] R . Johnson and J . Shore, «Which is Setter Entropy Expression for Speech Processing : -slogs or logs?», IEEE Transactions on Acoustics Speech and Signal Processing, vol . ASSP-32, pp . 129-137, 1984 .

[27] B . Picinbono and Barret, «Nouvelle présentation de la méthode du maximum d'entropie», Traitement du Signal, vol . 7, no . 2, pp . 153-158, 1990.