An Active Mesh for Movement Estimation with Discontinuities. Estimation de Mouvement par Maillage Actif avec Prise en Compte de Discontinuités

An Active Mesh for Movement Estimation with Discontinuities

Estimation de Mouvement par Maillage Actif avec Prise en Compte de Discontinuités

A.C Planat I.E. Magnin 

INSA 502 / 69621 Villeurbanne Cedex (France)

CREATIS CNRS, UMR 5515, affiliée à l’INSERM, Lyon, France

Page: 
383-401
|
Received: 
31 March 1998
|
Accepted: 
N/A
|
Published: 
31 December 2001
| Citation

OPEN ACCESS

Abstract: 

We aim at modeling a motion vector field by processing a sequence of images. We focus on the detection of motion discontinuities experimented by a moving deformable object. The method is based on a multiscale approach. A Markov Random (MR) label field is built at each scale from an initial distribution of the field. The ground of the motion estimation is a spatial partition of the image given by an elastic mesh superimposed onto the data. The mesh deforms, driven by some selected image features (intensity gradients), under the constraint that the motion field remains locally coherent and uniform within each patch. The motion vector field and the elastic mesh are obtained by minimizing a non-convex energy function considering the image features and the motion vector field simultaneously. Each term of the energy function is defined in a multiscale Markovian context and minimized according to the maximum a posteriori (MAP) criterion. The mesh deformation and the modeling of the related vector field both contribute to the iterative « top-down » optimization process within an alternate relaxation scheme. The model copes with discontinuities thanks to the adaptive partition of the image. The ridges ofthe mesh progressively move toward the motion discontinuities. The results on noisy complex synthetic sequences show a good estimation of the motion vector field with strong discontinuities at the object interfaces.  We apply the proposed method to real short-axis IRM cardiac sequence.

Résumé

L’objectif de la méthode est d’introduire la notion de discontinuité dans l’estimation de mouvement d’objet déformable. L’approche est multi-échelle. Un champ de primitives de vecteurs de déplacement est construit à chaque niveau d’échelle à partir d’une distribution initiale du champ. Le support d’estimation du champ de vecteurs de déplacement est une partition spatiale de l’observation donnée par un maillage élastique plaqué sur l’image. Celui-ci se déforme selon des critères image sous contraintes géométriques, tout en assurant un mouvement cohérent uniforme dans chaque maille. Le champ et la partition associée sont obtenus par minimisation d’une énergie non convexe. Chaque terme de la fonctionnelle est défini dans un contexte markovien et minimisé selon le critère du MAP. L’estimation du champ de vecteurs de déplacement et la déformation du maillage contribuent alternativement au processus « haut-bas » de relaxation itératif. Ainsi, les arêtes du maillage se déplacent-elles progressivement vers les discontinuités du champ de vecteurs de déplacement, lorsqu’elles existent. Les performances de la méthode sont mises en valeur sur des séquences d’images de synthèse complexes en présence de bruit ; la méthode est ensuite utilisée pour effectuer l’estimation de mouvement cardiaque à partir de séquence d’images IRM petit axe.

Keywords: 

Graph pyramids, multiscale, active mesh, discontinuities, motion estimation, segmentation, modeling.

Mots clés 

Discontinuités, estimation de mouvement, segmentation, pyramide de graphes, multi-échelle, maillage adaptatif.

1. Introduction
2. Définition du Modèle de Mouvement
3. Optimisation
4. Résultats
5. Discussion
6. Conclusion
7. Remerciements
  References

[1] Y. Altunbasak, A. Tekalp. Closed-form connectivity-preserving solutions for motion compensation using 2D meshes. IEEE Trans. on Image Processing, 1997 6(9) :1255-1269. 

[2] H. Benoit-Cattin, A.C. Planat, P. Joachimsmann, A. Baskurt, P. Clarysse, I.E. Magnin. On the Coding of Active Quadtree Mesh. IEEE Signal Processing Society, 1998 Int. Conf. on Image Processing (ICIP’98). 1998 2 : 895-898. 

[3] M.J. Black, P. Anandan. Robust dynamic motion estimation over time. Int. Conf. Vision and Pattern Recognition CVPR’91, Lahaïna, Mavi, Hawaï, 1991: 296-302. 

[4] M.J. Black, A. Rangarajan. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision. IJCC, july 1996 : 19 (1) : 57-91. 

[5] M.J. Black, A.D. Jepson. Estimating optical flow in segmented images using variable-order parametric models with local deformations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996 18(10) : 972-986 

[6] M.M. Chang, M.I. Sezan , A.M. Tekalp. An algorithm for simultaneous motion estimation and scene segmentation. IEEE Int. Conf. Acous. Speech and Signal Proc. 94, April 19-22, Adelaide Australia, 1994, V : 221-224. 

[7] P. Charbonnier. Reconstruction d’image: régularisation avec prise en compte des discontinuités. Thèse de Doctorat, Université de Nice, Sophia Antipolis, Sciences de l’ingénieur, 1994 : 211 p.

[8] P. Charbonnier, L. Blanc-Féraud, G. Aubert and M. Barlaud. Deterministic edge-preserving regularization in computed imaging. IEEE Trans. on Image Processing, 1996 5(12) :1-14. 

[9] R. Deriche,P. Kornprobst, G. Aubert. Optical-flow estimation while preserving its discontinuities: a variational approach. Proc. 2nd ACCV, Singapour, Décembre 1995 : 71-80. 

[10] R. Deriche, O. Fougeras. Les edp en traitement des images et vision par ordinateur. Sophia Antipolis : INRIA, 1995, 60 p, Rapport Technique N°2697. 

[11] S. Geman, D. Geman. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1984 6(6) : 721-741. 

[12] D. Geman, G. Reynolds. Constrained restoration and the recovery of discontinuities. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1992 14(3):367-383. 

[13] S. Geman, McClure D. Bayesian image analysis : An application to single photon emission tomography. Proc. Statist. Comput. Sect., Amer. Statis. Assoc. Washington DC, 1985 :12-18 

[14] F. Heitz, P. Bouthemy. Multimodal estimation of discontinuous optical flow using Markov Random Fields. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1993 15(12) :1217-1232. 

[15] B. Horn, B. Schunck. Determining optical flow. Artificial Intelligence, 1981 17 :185-203. 

[16] M. Kardouchi, A. Dipanda, F. Marzani, L . Legrand. A convex approximation of regularization models for motion estimation with Markov Random Fields. IEEE Int. Conf. on Image Processing, Lausanne 16-19 Sept 1996 1 :121-124. 

[17] J. Konrad, E. Dubois. Bayesian Estimation of motion vector fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992 14(9) : 910-927. 

[18] P.Kornprobst, R. Deriche, G. Aubert. EDP, débruitage et réhaussement en traitement d’images: Analyse et contributions. Reconnaissance de Forme et Intelligence Artificielle RFIA’98, Clermont-Ferrand, 1998 1 : 277-286. 

[19] D. Geiger, F. Girosi. Parallel and deterministic algorithms from MRF’s surface reconstruction. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991 13(5) :401-412. 

[20] C. Graffigne, F. Heitz, P. Pérez, F. Prêteux, M. Sigelle and J. Zerubia. Hierarchical Markov Random Field models applied to image analysis : A review. Neural Morphological and Stochastic Methods in Image and Signal Processing, Ed. Dougherty E.R., Prêteux F. and Shen S. Proc. SPIE, 1995 2568 : 2-17. 

[21] F. Heitz, P. Pérez, P. Bouthemy. Multiscale minimization of global energy functions in some visual recovery problems. Computer Vision Graphics and Image Processing, Image Understanding, 1994 59(1) : 125-134. 

[22] CL. Huang, C. Hsu. A new motion compensation method for image sequence coding using hierachical grid interpolation. IEEE Trans. on Circuits and Systems for Video Technology, 1994 4(1) : 42-52. 

[23] S.Z. Li. Markov Random Field modeling in computer vision. Computer Science Workbench. New York : Springer-Verlag, 1995 : 264 p. 

[24] E. Mémin, P. Pérez. A multigrid approach for hierarchical motion estimation. Int. Conf. On Computer Vision, ICCV’98, Janvier, Bombay Inde, 1998. 

[25] E. Mémin, P. Pérez. Dense estimation and object-based segmentation of the optical flow with robust techniques. IEEE Image Processing, 1998, 7(5) : 703-719. 

[26] N. Métropolis, A. Rosenbluth, M. Rosenbluth, A. Teller, E. Teller. Equations of state calculations by fast computing machines. Journal of Chemical Physics, 1953 21 :1087-1091. 

[27] F. Meyer, P. Bouthemy. Region-based tracking using affine motion models in long image sequences. Computer Vision Graphics and Image Processing, 1994 60(2) :119-140.

[28] H.H. Nagel. On the estimation of optical flow: Relations between different approaches and some new results. Artificial Intelligence, 1987 33 : 299324. 

[29] M. Orkisz, P. Clarysse. Estimation du flot optique en présence de discontinuités : une revue. Traitement du Signal, 1996 13(5) : 489-513.

[30] JM. Odobez , P. Bouthemy. Robust multiresolution estimation of parametric motion models. Journal of Visual Communication and Image Representation. 1995 6(4), 384-365. 

[31] JM. Odobez. Estimation, détection et segmentation du mouvement : une approche robuste et markovienne. Thèse de Doctorat, Université de Rennes I (Traitement du Signal et Télécommunications), N°1304, 1994, 223 p. 

[32] P. Pérez, F. Heitz. Une approche multiéchelle à l’analyse d’images par champs markoviens. Traitement du Signal, 1992 9(6) : 459-472. 

[33] A.C. Planat, I.E. Magnin, O. Ratib, D. Didier, D. Revel. Estimation de mouvement par approche multi-échelle souple avec prise en compte des discontinuités. Reconnaissance de Forme et Intelligence Artificielle RFIA’98, Clermont-Ferrand, 1998 3 : 81-90. 

[34] A.C. Planat. Estimation de mouvement maillage actif multiéchelle avec prise en compte des discontinuités : Application à l’imagerie cardiaque en Résonance Magnétique. Thèse de Doctorat, Institut National des Sciences Appliquées de Lyon, (Electronique, Electrotechnique, Automatique), N° 99ISAL0011, 1999, 201 p. 

[35] P.J. Reissman, P. Clarysse, I.E. Magnin. Modélisation et mise en correspondance avec la pyramide neuractive. Traitement du Signal, 1997 14 (4) : 394-403. 

[36] P.J. Reissman, I.E. Magnin. Modeling 3D deformable object with the active pyramid. Int. J. of Pattern Recogniotion And Artificial Intelligence, 1997 11(7) : 1129-1139. 

[37] C. Schnörr. Computation of discontinuous optical flow by domain decomposition and shape optimization. Int. J. of Computer Vision. 1992 8(2) : 153-165. 

[38] C. Schnörr. A Study of a Convex Variational Diffusion Approach for Image Segmentation and Feature Extraction, JMIV May 1998 8(3) 271-292 

[39] C. Stiller, B. Hürtgen. Combined displacement estimation and segmentation in image sequences. Aachen, Germany: Institute for Communication Engineering, Aachen University of Technology, 1993, 12p.,Technical report. 

[40] C. Stiller. Object-based estimation of dense motion fields, IEEE Trans. Image Processing Fev 1997 6(2): 234-250. 

[41] R. Szeliski, HY. Shum. Motion estimation with quadtree splines. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1996 18(12) :11991210 

[42] S. Teboul, L. Blanc-Féraud, G. Aubert, M. Barlaud. Variational approach for edge-preserving regularization using coupled PDE’s. IEEE Trans. on Image Processing, 1998 7(3) : 387-397. 

[43] D. Terzopoulos, M. Vasilescu. Sampling and reconstruction using adaptive meshes. Proc. Int. Conf. Comput. Vision Pattern Recognition CVPR’91, Lahaïna, Mavi, Hawaï, June 3-6 1991 :70-75.

[44] L.V. Tsap, D.B. Goldgof, S. Sarkar. Nonrigid motion analysis based on dynamic refinement of finite element models. Motion estimation with quadtree splines. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2000 22(5) : 526-543 

[45] Y. Wang, O. Lee. Active mesh. A feature seeking and tracking image sequence representation scheme. IEEE Trans. on Image Processing, 1994 3(5) : 610-624 

[46] Y. Wang, O. Lee, A. Vetro. Use of two-dimensional deformable mesh structures for video coding, part II : The analysis problem and a regionbased coder employing an active mesh representation. IEEE Trans. on Circuits and Systems for Video Technology, 1996 6(6) : 647-659