Calcul des variations et analyse spectrale : équations de Fourier et de Burgers pour modèles autorégréssifs régularisés
Calculus of variations and spectrum analysis : Fourier and Burgers equations for regularized autoregressive models
OPEN ACCESS
Autoregressive analysis regularisation is considered as a variational problem solved by calculus of variations where the autoregressive polynomial is regarded as a transformation of the unitary complex circle into a parametric closed orientated curve embedded in the complex space. We proove that the Euler-Lagrange equation of this problem is equivalent to the classical regularized Yule-Walker equation. Then, this regularization problem is formulated, by an intrinsic geometrical approach, as a geodesic distance minimization with respect to a metric defined by the data fitting criteria. Then, Calculus of Variations provides, after a recall of complex function curvature definition, a « Mean Curvature Flow » Partial Differential Equation (PDE). Its discretization by Z transform leads to a PDE acting on the vector of autoregressive parameters. This second approach allows to set regularization free from the optimization of the additional hyperparameter, classically introduced in the Tikhonov approach, simply by stoping PDE when its evolution speed decreases. The second advantage lies in the fact that the PDE numerical scheme is naturally adapted for on-line continuous estimation at the rate of data flow. Extension of the way the previous problem is formulated for the estimation of Cepstrum, whose the associate distance as well as the group delay distance performances are accepted to be very efficient for signal processing applications, shows that the differential cepstrum is exactly identifiable with the Hopf-Cole transform of the autoregressive polynomial and then induces an associate according to Burgers equation with respect to data. We conclude by using Polya’s interpretation of complex function integration by means of vectors field flux and work to illustrate regularization as a process that tends to make non-divergent and non-rotational the conjugate autoregressive vectors field along the unitary complex circle.
Résumé
Nous proposons une reformalisation de l’analyse spectrale autorégressive régularisée dans le cadre de l’approche variationnelle en considérant le polynôme autorégressif comme une transformation du cercle complexe unité en une courbe paramétrique fermée et orientée dans le plan complexe (théorie globale des courbes planes fermées : classe d’équivalences d’immersions du cercle complexe unité dans le plan Euclidien). Nous montrons que l’Equation d’Euler-Lagrange associée nous ramène à la solution par moindres carrés régularisés classique. Nous posons ensuite le problème sous une forme géométrique intrinsèque pour laquelle la solution est définie comme une géodésique minimale particulière dont la métrique dépend explicitement du terme d’adéquation aux données. Le calcul des variations alors, en redéfinissant la notion de courbure d’une fonction complexe, une équation aux dérivées partielles (EDP) de type « flot de courbure moyenne ». La discrétisation du problème via la transformée en Z aboutit à une EDP agissant sur le vecteur des paramètres autorégressifs. Cette seconde approche permet de s’affranchir de l’optimisation de l’hyperparamètre de régularisation intervenant dans l’approche de Tikhonov classique, en stoppant l’EDP dès que sa vitesse d’évolution est ralentie. Le second avantage réside dans la formalisation EDP qui permet naturellement l’estimation continue, en ligne, du spectre au rythme du flot des données. L’extension de cette formalisation au Cepstre, dont la distance induite ainsi que celle du retard de groupe sont très utilisées en signal, fait apparaître le cepstre différentiel comme la transformation de Hopf-Cole du polynôme autorégressif et induit donc une évolution associée selon l’équation de Burgers conditionnellement aux données. Nous concluons en utilisant l’interprétation de l’intégration complexe par Polya en terme de flux et de travail d’un champ de vecteurs pour montrer que la régularisation tend à rendre non-divergent et irrotationnel le champ de vecteurs autorégressifs conjugués sur le cercle complexe unité.
Autoregressive models, regularization, calculus of variations, minimal geodesic, partial differential equation, Euler-Lagrange equation, Fourier equation, reflection coefficient, Noether theorem, cepstral coefficients, differential cepstrum, Hopf-Cole transform, Burgers equation, complex curvature, Mean Curvature Flow, Polya vectors Field, pattern recognition, global theory of plane curves.
Mots clés
Modèles autorégressifs, régularisation, calcul des variations, géodésique minimale, équations aux dérivées partielles, équations d’Euler-Lagrange, équation de Fourier, coefficients de réflexion, théorème de Noether, coefficients cepstraux, cepstre différentiel, transformation de Hopf-Cole, équation de Burgers, courbure complexe, flot de courbure moyenne, champ de vecteurs de Polya, reconnaissance de forme, théorie globale des courbes planes.
[Alb76] S.A. Albeverio & R.J. Hoegh-Krohn , « Mathematical Theory of Feynman Path Integrals », Springer-Verlag, 1976.
[Alf99] Alfons et al., « Linearised Euclidean Shortening Flow of Curve Geometry », Int. J. of Comput. Vision, vol. 34, n° 1, pp. 29-67, 1999.
[Alp98] D. Alpay, « Algorithmes de Schur, espaces à noyau reproduisant et théorie des systèmes », Panorama et Synthèses, n° 6, Société Mathématique de France, 1998.
[Alt91a] S.J. Altschuler, « Singularities of the Curve Shrinking Flow for Space Curves », Institut for Mathematics & its applications, preprint n° 822, university of Minnesota, June 1991.
[Alt91b] S.J. Altschuler & M.A. Grayson, « Shorthening Space Curves and Flow Through Singularities », Institut for Mathematics & its applications, preprint n° 823, university of Minnesota, June 1991.
[Aub98] G. Aubert & L. Blanc-Ferraud, « An Elementary Proof of the Equivalence between 2nd and 3nd classical snakes and geodesic active contours », INRIA Tech. Report n° 3340, Janvier 1998.
[Aub99] G. Aubert & L. Blanc-Ferraud, « Some remarks on the equivalence between 2D and 3D classical snakes and geodesic active contours », Int. J. of Comp. Vision, vol. 34, n° 1, pp. 19-28, 1999.
[Barb95] F. Barbaresco.,« Algorithme de Burg Régularisé FSDS, Comparaison avec l’algorithme de Burg MFE », Proc. GRETSI-95, vol. 1, pp. 29-32, Septembre 1995.
[Barb99a] F. Barbaresco, « Extrinsic & Intrinsic Entropic Priors for TimeFrequency AR Analysis : Half-Quadratic Temporal Regularization & Recursive Siegel Metric Based on Information Riemannian Geometry », Coll. PSIP’99, ENST, Paris, Janvier 1999.
[Barb99b] F. Barbaresco, « Modèles autorégressifs : du coefficient de réflexion à la géométrie Riemannienne de l’Information », Revue Traitement du Signal, vol. 15, n° 6, Mai 1999.
[Barb00] F. Barbaresco, « Calculus of Variations & Regularized Spectral Estimation », Colloque MAXENT’2000, Gif-sur-Yvette, France, Juillet 2000, à paraître dans ‘American Institut of Physics’.
[Barb01] F.Barbaresco, « Calculus of Variations & Regularized Spectral Estimation », Colloque PSIP-2001, Marseille, Janvier 2001.
[Bear87] A.F. Beardon, « Curvature, Circles and Conformal Maps », Amer. Math. M., vol. 94, pp. 48-53, 1987.
[Berest97] Pierre Bérest, « Calcul des variations : Application à la Mécanique et à la Physique », Ed. Ellipses, 1997.
[Berger87] M. Berger & B. Gostiaux, « Géométrie différentielle : variétés, courbes et surfaces », Presses Universitaires de France, 1987.
[Bonnet99 ] M. Bonnet, « Problèmes inverses », cours de DEA Dynamique des Structures et Couplages, Labo. Mécanique des fluides, Ecole Polytechnique, 1999.
[Brad87] B. Braden, « Polya’s Geometric Picture of Complex Contour Integrals », Mathematics Magazine, vol. 60, n° 6, pp. 321-327, 1987.
[Burg67] J.P. Burg, « Maximum Entropy Spectral Analysis », Proc. 37th Meeting Society of Exploration Geophysicist, 1967.
[Burge74] J.M. Burgers, « The Nonlinear Diffusion Equation », D. Reidel, Publ. Co., 1974.
[Cara54] C. Carathéodory, « Theory of Functions of a Complex Variable », Chelsea Publ. C., 1954.
[Cas97] V. Caselles, R. Kimmel & G. Sapiro, « Geodesic Active Contours », The International Journal of Computer Vision, Vol. 22, n° 1, pp. 61-79, 1997
[Cart77] H. Cartan, « Cours de calcul différentiel », Ed. Hermann, Paris, 2nd Edition, 1977.
[Cart95] P. Cartier et C. DeWitt-Morette, « A new Perspective on Functional Integration », J. Math. Phys., vol. 36, n° 5, pp. 2237-2312, 1995.
[Charb97] P. Charbonnier et al., « Deterministic Edge-Preserving Regularization in Computed Imaging », IEEE Trans. on Image Processing, vol. 6, n° 2, Février 1997.
[Chen91] Y.G. Chen, Y. Giga & S. Goto,« Uniqueness and Existence of viscocity Solution of Generalized Mean Curvature Flow Equations », J. of Diff. Geometry, Vol. 33, pp. 749-786, 1991.
[Coh96a] L.D. Cohen & R. Kimmel, « Global Minimum for Active Contour Models : A Minimal Path Approach », Ceremade TR 9612, CVPR’96, San Francisco and ICAOS’96, Paris, Juin 1996.
[Coh96b] L. D. Cohen & R. Kimmel, « Fast Marching the Global Minimum of Active Contours », Proc. IEEE ICIP, pp. 473-476, 1996.
[Cole51] J.D. Cole, « On a Quasi Linear Parabolic Equation Occuring in Aerodynamics », Quart. Appl. Math., vol. 9, PP.225-236, 1951.
[Darb78] M.G. Darboux, « Sur un problème de géom. élémentaires », Bull. Sci. Math, vol. 2, pp. 298-304, 1878.
[Dem87] G. Demoment, « Algorithmes rapides », polycopié de cours Supelec, n° 03152, 1987.
[Dem89] G. Demoment, « Image Reconstruction and Restoration : overview of Common Estimation Structures and Problems », IEEE Trans. ASSP, vol. 37, pp. 2024-2037, 1989.
[Der95] R. Deriche & O. Faugeras, « Les EDP en traitement des images et vision par ordinateur », Technical Report INRIA n° 2697, November 1995, in Revue Traitement du Signal.
[Dho98] J. Dhombres & Jean-Bernard Robert, « Fourier : Créateur de la PhysiqueMathématique », Ed. Belin, Coll. Un Savant, une époque, 1998
[Faug98] O. Faugeras & R. Keriven, « Variational Principles, Surface Evolution, PDEs, Level Set Methods and the Stereo Problem » IP, Vol.7, n° 3, pp. 336-344, March 1998.
[Fench50] W. Fenchel, « On the Differential Geometry of Closed Space Curves », Bull. Amer. Math., Vol. 57, pp. 44-54, 1950
[Four1822] J. Fourier, « Théorie analytique de la chaleur », Paris 1822, Ed. J. Gabay, Paris 1988.
[Fourn83] J.D. Fournier & U. Frisch, « L’équation de Burgers déterministe et statistique », Journal de Mécanique Théorique et Appliquée, Vol. 2, n° 5, p. 699-750, 1983.
[Fourn86] J.D. Fournier, « Propriétés locales et singularités complexes en dynamique non linéaire », in Méthodes mathématiques pour l’Astrophysique : Equations différentielles et aux dérivées partielles non linéaires ; problème inverse, Notes de Cours, Ecole d’Astrophysique de Goutelas, M. Auvergne & A. Baglin Edition, publi. S.F.S.A., 14-19 Avril 1986.
[Gage86] M. Gage & R.S. Hamilton, « The Heat Equation Shrinking Convex Plane Curves », J. of Differential Geometry, Vol. 23, pp. 69-96, 1986.
[Gallier01] J. Gallier, « Geometric Methods and Applicationsfor Computer Science and Engineering », Springer Verlag, New York, 2001.
[Gord98] W.B. Gordon, « A Variational Approach to the Extraction of In-Phase and Quadrature Components », IEEE Trans. SP, Vol. 46, n° 5, pp. 1238-1244, Mai 1998.
[Gratt72] J. Grattan-Guiness & J.R. Ravetz, « Joseph Fourier, 1768-1830 », MIT Press, 1972.
[Grays87] M. Grayson, « The Heat Equation Shrinks Embedded Plane Curves to Round Point », J. of Differential Geometry, Vol. 26, pp. 285-314, 1987.
[Hél98] F. Hélein, « Symétries dans les problèmes variationnels et applications harmoniques », preprint, rapport technique ENS-Cachan/CMLA, Juin 1998.
[Hels61] H. Helson & D.Lowdenslager, « Prediction Theory and Fourier Series in Several Variables », Acta Mathematica, n° 99, pp.165-202, 1958 & n° 106, pp. 175-213, 1961.
[Her75] J. Herivel, « Joseph Fourier. The Man and the Physicist », Clarendon Press, Oxford, 1975.
[Her80] J. Herivel, « Joseph Fourier : Face aux objections contre sa théorie de la chaleur, Lettres Inédites 1808-1816 », Mémoires de la section des sciences 8, , Bibliothèque Nationale, Paris, 1980.
[Her97] A. Herment, J.F. Giovannelli, G Demoment et al., « Improved Characterization of Non-stationary Flows Using a Regularized Spectral Analysis of Ultrasound Doppler Signals », J. Phys. II France, vol. 7, pp. 2079-2102, 1997.
[Hopf50] E. Hopf, « The partial Differential Equation ut + u.ux = uxx », Comm. Pure Appl. Mech., Vol. 3, pp. 201-230, 1950.
[Itak75] F. Itakura & T. Umezaki, « Distance Measure for Speech Recognition based on Smoothed Group Delay Spectrum », Proc. ICASSP-87, Dallas, pp. 1257-1260, 1987.
[Kac57] M. Kac, « Probability and Related Topics in Physical Sciences », Lectures in Applied Mathematics, 2nd Printing, American Mathematical Society, 1976.
[Kay83] S.M. Kay, « Recursive Maximum Likelihood Estimation of Autoregressive Processes », IEEE Trans. ASSP, vol. 31, pp. 56-65, Janvier 1983.
[Ken84] D.G. Kendall, « Shape Manifolds, Procrustean Metrics, and Complex Projective Spaces », Bull. London Math. Soc., vol. 16, pp. 81-121, 1984.
[Ken93] D.G. Kendall, « The Riemannian Structure of Euclidean Spaces : a Novel Environment for Statistics », Ann. Stat., vol.21, pp.1225-1271, 1993.
[Kich95] S. Kichnassamy, A. Kumar, P. Olver, A. Tannenbaum & A. Yezzi, « Gradient Flows and Geometric Active Contour Models », 5th Int. J. of Comp. Vision, Juin 1995.
[Kim95] B. Kimia, A.R. Tannenbaum and S.W. Zucker, « Shapes, Schoks and deformations i : The Components of Two-dimensionnal Shape and the Reaction-Diffusion Space », IJCV, Vol. 15, pp. 189-224, 1995.
[Kimm97] R. Kimmel, N. Sochen & R. Malladi, « From High Energy Physics to Low Level Vision », Proc. Scale-Space’97, 1997.
[Kita85] G. Kitagawa & W. Gersch, « A Smoothness Priors Long AR Model Method for Spectral Estimation », IEEE Trans. on AC, vol. 30, n° 1, pp. 57- 65, Janvier 1985.
[Kuri94] T. Kurita, I. Sekita & N. Otsu, « Invariant Distance Measures for Planner Shapes Based on Complex Autoregressive Models », Pattern Recognition, vol. 27, n° 7, pp. 903-911, 1994.
[Lions92] P.L. Lions,L. Alvarez, F. Guichard & J.M. Morel, « Axiomes et équations fondamentales du traitement d’images », C.R. Acad. Sci. Paris, vol. 315, n° 2, pp. 135-138, Juillet 1992.
[Mani94] A. Manikas, H.R. Karimi and I. Dacos, « Study of the Detection and Resolution Capabilities of One-Dimensionnal Array of Sensors by Using Differential Geometry », IEE Proceedings on Radar, Sonar & Navigation, vol. 141, n° 2, pp.83-92, Avril 1994.
[Mani95] A. Manikas & I. Dacos, « The Use of Differential Geometry in Estimating the Manifold Parameters of a one-Dimensional Array of Sensors », Journal of the Franklin Institute, Engineering and Applied Mathematics, vol. 332B, n° 3, pp. 307-332, 1995.
[Morel98] J.M. Morel, « Filtrage itératif des images et équations aux dérivées partielles », Notes de cours du centre Emile Borel sur Questions Mathématiques en Traitement du Signal et de l’Image, notes n° 12, Institut Henri Poincaré, Décembre 1998.
[Moret93] H. P. Moreton, « Minimum Curvature Variation Curves, Networks and Surfaces for Fair Free-Form Shape Design », PhD Thesis, University of California, Berkeley, 1993.
[Mum84] D. Mumford & J. Shah, « Optimal Approximations by Piecewise Smooth Functions and Associated Variational Problems », Comm. Pure Appl. Math, Vol. 42, pp. 577-684, 1989.
[Nash74] Z. Nashed, « Approximate regularized solutions to improperly posed linear integral and operator equations », In A. Dolb & B. Eckmann (Eds), Constructive and Computational Methods for Differential and Integral Equation, Springer-Verlag, 1974.
[Nash87] Z. Nashed, « A New Approach to classification and Regularization of Ill-Posed Operator Equations », In H.W. Eng & C.W. Groetsch (Eds), Inverse and ill-posed problems, pp. 53-75, Academic Press, 1987.
[Need98] T. Needham, « Visual Complex Analysis », Oxford University Press, 2nd Edition, 1998.
[Osher88] S. Osher & J. Sethian, « Fronts Propagating with Curvature Dependent Speed : Algorithms based on the Hamilton-Jacobi Formulation », J. of Comp. Phys., Vol. 79, pp. 12-49, 1988.
[Pham88] D.T. Pham, « Maximum Likelihood Estimation of Autoregressive Model by Relaxation on the Reflection Coefficient », IEEE Trans. ASSP, vol. 38, pp. 175-177, Janvier 1988.
[Pim92] J. Pimbley, « Recursive Autoregressive Spectral Estimation by Minimization of the Free Energy », IEEE Trans. on SP, vol. 40, n° 6, pp. 1518-1527, Juin 1992.
[Polya74] G. Polya & G. Latta, « Complex Variables », Wiley, 1974.
[Roe96] G. Roepstorff, « Path Integral Approach to Quantum Physics : An Introduction », Text & Monographs in Physics, 2nd Ed., Springer-Verlag, 1996.
[Robin82] E.A. Robinson, « A Historical Perspective of Spectrum Estimation », Proc. of the IEEE, vol. 70, n° 9, Septembre 1982.
[Rog99] P. Rogen, Contributions to Geometric Knot Theory of Curves and Surfaces, PhD thesis Report, Danmarks Tekniske Universitet, January 1999.
[Ruzin89] S.A. Ruzinsky, « Sequential Least Absolute Deviation Estimation of Autoregressive parameters », Ph.D. Thesis, Illinois Inst. Of Technol., Chicago, IL, Mai 1989.
[Schroe81] M. Schroeder, « Direct (Nonrecursive) Relations Between Cepstrum and Predictor Coefficients », IEEE Trans.ASSP, vol. 29, n° 2, pp. 297-301, April 1981.
[Schur18] I. Schur, « On Power Series which are bounded in the interior of the unit circleI & II », J. Reine Angew, Math., n° 148, pp. 122-145, 1918.
[Seki92] I. Sekita, T. Kurita & N. Otsu, « Complex Autoregressive Model for Shape Recognition », IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 14, n° 4, April 1992.
[Seth99] J.A. Sethian, « Level Set Methods », Cambridge University Press, 2nd Ed., 1999.
[Sieg69] C.L. Siegel, « Topics in Complex Function Theory », Wiley Interscience Ed., 1969.
[Small96] C.G. Small, « The Statistical Theory of Shape », Springer, New York, 1996.
[Sugi88] S. Sugimoto & T. Wada, « Spectral Expressions of Information Measures of Gaussian Time Series and Their Relation to AIC and CAT », IEEE Trans. IT, vol. 34, n° 4, Juillet 1988.
[Szegö39] G. Szegö, « Orthogonal Polynomials », American Mathematical Society, Colloquium Publications, n° 23, New York, 1939.
[Szegö58] U. Grenander & G. Szegö, « Toeplitz Forms and their Applications », University of California Press, Berkeley, CA, 1958.
[Thom91] A. Thompson & D.M. Titterington, « A study of Choosing the smoothing Parameters in Image Reconstruction by Regularization », IEEE Trans. PAMI, vol. 13, pp. 326-339, 1991.
[Tik77] A.N. Tikhonov & V. Arsenin, « Solutions of Ill-posed Problems », Wiley, New york, 1977.
[Weickert98] J. Weickert & al., « Efficient and Reliable Schemes for Nonlinear Diffusion Filtering », Special Issue on Partial Differential Equations and
Geometry-Driven Diffusion in Image Processing and Analysis, IEEE Trans. On Image Processing, Vol. 7, n° 3, pp. 398-410, March 1998.
[Welch95] W. Welch, « Serious Putty : Topological Design for Variational Curves and Surfaces », PhD Thesis, Carnegie Melon University, Pittsburgh, Pa., 1995.
[Yeg79] B. Yegnanarayana & D.R. Reddy, « A Distance Measure based on the Derivative of Linear Prediction Phase Spectrum », Proc. ICASSP-79, pp. 744-747, 1979.
[Your79] W. Yourgrau & S. Mandelstam, « Variational Principles in Dynamics and Quantum Theory », Dover Publications, Inc., New York, 3rd Ed., 1979.