Utilisation du mouvement visuel en suivi par filtrage particulaire - On the use of visual motion in particle filter tracking

Utilisation du mouvement visuel en suivi par filtrage particulaire

On the use of visual motion in particle filter tracking

Jean-Marc Odobez Daniel Gatica-Perez  Sileye Ba 

Idiap Research Institute, Martigny, Switzerland

Page: 
401-415
|
Received: 
January 2004
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

Particle filtering is now established as one of the most popular methods for visual tracking. Within this framework, a basic assumption is that the data are temporally independent given the sequence of object states. In this paper, we argue that in general the data are correlated, and that modeling such dependency should improve tracking robustness. Besides, the choice of using the transition prior as proposal distribution is also often made. Thus, the current observation data is not taken into account in the generation of the new samples, requesting the noise process of the prior to be large enough to handle abrupt trajectory changes between the previous image data and the new one. Therefore, many particles are either wasted in low likelihood area, resulting in a low efficiency of the sampling, or, more importantly, propagated on near distractor regions of the image, resulting in tracking failures. In this paper, we propose to handle both issues using motion. Explicit motion measurements are used to drive the sampling process towards the new interesting regions of the image, while implicit motion measurements are introduced in the likelihood evaluation to model the data correlation term. The proposed model allows to handle abrupt motion changes and to filter out visual distractors when tracking objects with generic models based on shape or color distribution representations. Experimental results compared against the CONDENSATION algorithm have demonstrated superior tracking performance.

Résumé

Le filtrage par méthode de Monte-Carlo séquentielle (MCS) est l’une des méthodes les plus populaires pour effectuer du suivi visuel. Dans ce contexte, une hypothèse importante faite généralement stipule que, étant donnée la position d’un objet dans des images successives, les observations extraites de ces dernières sont indépendantes. Dans cet article, nous soutenons que, au contraire, ces observation sont fortement corrélées et que la prise en compte de cette corrélation permet d’améliorer le suivi. Par ailleurs, un choix relativement fréquent consiste à utiliser le modèle dynamique a priori comme fonction de proposition. Par conséquent la génération des échantillons à l’instant courant se fait en aveugle, c’est-à-dire sans exploiter d’information liée à l’image courante. Il en résulte que la variance du bruit dans le modèle dynamique doit être fixée à une valeur importante afin de pouvoir appréhender de rapides changements de trajectoire. De ce fait de nombreuses particules sont générées inutilement dans des régions de faible vraisemblance, ce qui réduit l’efficacité de l’échantillonnage, ou sont propagées sur des ambiguïtés voisines de la vraie trajectoire, ce qui, ultérieurement, peut conduire à des erreurs de suivi. Dans cet article, nous proposons d’utiliser le mouvement visuel afin de remédier aux deux problèmes soulevés. Des mesures de mouvement explicites sont utilisées pour diriger l’échantillonnage vers les nouvelles régions intéressantes de l’image, tandis que des mesures implicites et explicites sont introduites dans la distribution de vraisemblance afin de modéliser la corrélation entre données temporelles. Le nouveau modèle permet d’appréhender des mouvements brusques et de lever des ambiguïtés visuelles tout en gardant des modèles d’objet simples basés sur des contours ou des distribution de couleurs, comme le montrent les résultats obtenus sur plusieurs séquences et comparés à la méthode classique de CONDENSATION.

Keywords: 

Object tracking, sequence, visual motion, estimation, particle filter, CONDENSATION, sequential Monte-Carlo

Mots clés

Suivi d’objets, séquence, corrélation, mouvement, estimation, filtrage particulaire, CONDENSATION, méthode de Monte-Carlo séquentielle

1. Introduction
2. État De L’art
3. Filtre Particulaire
4. Approche Et Motivations
5. Mise En Œuvre Du Modéle Proposé
6. Résultats
7. Discussion, Conclusion
  References

[1] E. ARNAUD et E. MÉNIN, Optimal importance sampling for tracking in image sequences: applications to point tracking. Dans Proc. of 8th Eur. Conf. Computer Vision, Prague, Czech Republic, Mai 2004.

[2] E. ARNAUD, E. MÉNIN et B. CERNUSHI-FRIAS, Filtrage conditionnel pour la trajectographie dans des séquences d’images – application au suivi de points. Dans 14ème Congrès Francophone AFRIFAFIA de Reconnaissance des Formes et Intelligence Artificielle, Toulouse, France, Janvier 2004.

[3] S. ATULAMPALAM, S. MASKELL, N. GORDON et T. CLAPP, A tutorial on particle filters for on-line non-linear/non-gaussian bayesian tracking, IEEE Trans. Signal Process, 50(2): 100-107, 2001.

[4] M.J. BLACK et A.D. JEPSON, Eigentracking: robust matching and tracking of articulated objects using a view based representation, Int. J. Computer Vision, 21(1): 63-84, 1998.

[5] A. BLAKE et M. ISARD, Active Contours, Springer, 1998.

[6] D. COMANICIU, V. RAMESH et P. MEET, Real-time tracking of non-rigid objects using mean shift, Dans Proc. IEEE. Conf. Computer Vision Pattern Recognition, 142-151, 2000.

[7] A. DOUCET, N. de FREITAS, et N. GORDON, Sequential Monte Carlo Methods in Practice, Springer-Verlag, 2001.

[8] A. DOUCET, S. GODSILL, et C. ANDRIEU, On sequential Monte Carlo sampling methods for bayesian filtering, Statistics and Computing, 10(3): 197-208, 2000.

[9] D. GATICA-PEREZ, G. LATHOUD, I. McCOWAN, et J.-M. ODOBEZ, A Mixed-State I-Particle Filter for Multi-Camera Speaker Tracking. Dans IEEE Int. Conf. on Computer Vision Workshop on Multimedia Technologies for E-Learning and Collaboration (ICCV-WONTEC), Nice, France, 2003.

[10] N. GORDON, D. SALMON, et A.F.M. SMITH, Novel approach to nonlinear/non-gaussian bayesian state estimation, IEE Proc. F., 140(2): p. 107-113, 1993.

[11] M. ISARD et A. BLAKE, Contour tracking by stochastic propagation of conditional density, Dans, Proc. of 4th Eur. Conf. Computer Vision., vol. 1, 343-356, 1996.

[12] M. ISARD et A. BLAKE, Icondensation: Unifying low-level and high-level tracking in a stochastic framework. Dans Proc. of 5th Eur. Conf. Computer Vision., Lect. Notes in Compter Sciences, vol. 1406, vol. 1 p. 893-908, Freiburg, Allemagne, 1998.

[13] A.D. JEPSON., D.J. FLEET et T.F. El-MARAGHI, Robust on-line appearance models for visual tracking. IEEE Trans. Pattern Anal Machine Intell, 25(10): 661-673, Octobre 2003.

[14] C. KERVRANN, F. HEITZ et P. PÉREZ, Statistical model-based estimation and tracking of non-rigid motion. Dans Proc. 13th Int. Conf. Pattern Recognition, 244-248, Vienne, Autriche, Août 1996.

[15] H.T. NGUYEN, M. WORRING et R. VAN DEN BOOMGAARD, Occlusion robust adaptive template tracking. Dans Proc. IEEE Int. Conf. Comp. Vision, 678-683, Vancouver, Juillet 2001.

[16] J.-M. ODOBEZ et P. BOUTHEMY, Estimation robuste multi-échelle de modèles paramétrés de mouvement sur des scènes complexes, Traitement du Signal, Vol. 12 (N°2): 113-128, 1995.

[17] J.-M. ODOBEZ et P. BOUTHEMY, Robust multiresolution estimation of parametric motion models, JI of Visual Com. and Image Representation, 6(4): 348-365, Décembre 1995.

[18] W. PIECZYNSKI, Pairwise markov chains, IEEE Trans. Pattern Anal. Machine Intell., 25(5): 634-640, Mars 2003.

[19] M.-K. PITT et N. SHEPHARD, Filtering via simulation: Auxiliary particle filters, Journal of the American Statistical Association, 94(446): 590-599, 1999.

[20] P. PÉREZ, C. HUE, J. VERMAAK and M. GANGNET, Color-based probabilistic tracking. Dans Proc. of 7th Eur. Conf. Computer Vision, Lect. Notes in Compter Sciences, vol. 2350, 661-675, Copenhague, Danemark, Juin 2002.

[21] P. PÉREZ, J. VERMAAK et A. BLAKE, Data fusion for visual tracking with particles. Proc. IEEE, 92(3): 495-513, 2004.

[22] A. RAHIMI, L.P. MORENCY et T. DARRELL, Reducing drift in parametric motion tracking. Dans. Proc. IEEE Int. Conf. Comp. Vision,15-322, Vancouver, Juillet 2001.

[23] Y. RAJA, S. McKENNA et S. GONG, Colour model selection and adaptation in dynamic scenes. Dans Proc. of 5th Eur. Conf. Comp. Vision, Lect. Notes in Compter Science, vol. 1406, 460-474, Freiburg, Allemagne, 1998.

[24] Y. RUI et Y. CHEN, Better proposal distribution: object tracking using unscented particle filter. Dans Proc. IEEE Conf. Comp. Vision Pattern Recognition, 786-793, Décembre 2001.

[25] H. SIDENBLADH et M.J. BLACK, Learning image statistics for bayesian tracking. Dans Proc. 8th IEEE Conf. Comp. Vision, vol. 2, 709-716, Canada, Juillet 2001.

[26] H. SIDENBLADH, M.J.. BLACK. et D.L. FLEET., Stochastic tracking of 3d human figures using 2d image motion. Dans Proc. Eur Conf. Comp. Vision, vol. 2, 702-718, Dublin, Ireland, Juin 2000.

[27] C. SMINCHISESCU et B. TRIGGS., Covariance scaled sampling for monocular 3d body tracking. Dans Proc. IEEE Conf. Computer Vision Pattern Recognition, vol. 1, 447-454, Décembre 2001.

[28] J. SULLIVAN et J. RITTSCHER., Guiding random particles by deterministic search. Dans Proc. 8th IEEE Int. Conf. Comp. Vision, 323-330, Vancouver, Juillet 2001.

[29] H. TAO, H.S. SAWHNEY et R. KUMAT., Object tracking with bayesian estimation of dynamic layer representations. IEEE Trans. Pattern Anal. Machine Intell, 24(1): 75-89, 2001.

[30] K. TOYAMA et A. BLAKE., Probabilistic tracking in a metric space. Dans. Proc. 8th IEE Int. Conf. Comp. Vision, vol. 2, 50-57, Vancouver, Juillet 2001.

[31] J. VERMAAK, P. PÉREZ, M. GANGNET et A. BLAKE., Towards improved observation models for visual tracking: Selective adaptation. Dans. Proc. of 7th Eur. Conf. Comp. Vision, Lect. Notes in Compter Science, vol. 2350, 645-660, Copenhague, Danemark, 2002.

[32] Y. WU et T. HUANG, A co-inference approach for robust visual tracking. Dans Proc. 8th IEEE Int.. Conf. Comp. Vision, vol. 2, 26-33, Vancouver, Juillet 2001.