Efficient Methods for Image Composition in Video Sequences
Des Méthodes Efficaces pour L'incrustation D'objets Virtuels dans des Séquences D'images
OPEN ACCESS
We present an augmented reality system for image composition. We have worked with a view to avoiding strong and tedious interactions with the user. Because accurate registration between real and virtual objects is crucial for augmented reality applications, we especially focus on the temporal model-based registration method we have devised. It integrates tracking, pose determination and updating of the visible features in a very robust way and is able to retain up to date the scene-camera pose relationships even when tracking error occurs . While current augmented reality systems simply overlay computer-generated objects on real imagery, our system is capable of resolving occlusions between real and virtual objects for scenes where contour information is relevant . We demonstrate the efficiency of our system on real experiments.
Résumé
Nous présentons dans cet article le système de réalité augmentée que nous avons réalisé . Notre objectif est de concevoir des outils et des méthodes permettant d'incruster des objets virtuels dans des séquences d'images le plus automatiquement possible. Nous commençons par étudier les différents problèmes qui se posent lors de la composition d'images (calcul du point de vue, gestion des occultations entre les objets virtuels et la scène filmée, interactions photométriques entre monde réel et monde virtuel..). Puis nous décrivons dans le détail les solutions que nous avons apportées au problème du calcul automatique du point du vue et à celui de la résolution des occultations. Nous avons en particulier conçu un système autonome permettant un calcul robuste du point de vue à partir de la connaissance de certains éléments tri-dimensionnels de la scène . Nous montrons de plus comment notre système est capable de gérer d'éventuelles occultations entre les objets virtuels et la scène observée . Des exemples variés d'application grandeur réelle viennent illustrer nos travaux .
Robust registration, augmented reality, occlusions .
Mots clés
Recalage robuste, réalité augmentée, occultations.
[I] Azuma (R.). - Tracking Requirements for Augmented Reality. Communications of the ACM, juillet 1993, pp. 50-51.
[2] Bajura (M.), Fuchs (H.) et Ohbuchi (R.). - Merging Virtual Objects with the Real World : Seeing Ultrasound Imagery within the Patient. Computer Graphics,vol.26, rß 2, septembre 1992, pp. 203-210.
[3] Berger(M.-O.).-How to Track Efficiently Piecewise Curved Contours with a View to Reconstructing 3D Objects.In :Proceedings of the 12th International Conference on Pattern Recognition, Jerusalem (Israel), pp . 32-36.- 1994.
[4] Berger (M.-O.), Chevrier (C.) et Simon (G.). - Compositing Computer and Video Image Sequences : Robust Algorithms for the Reconstruction of the Camera Parameters. In : Computer Graphics Forum, Conference Issue Eurographics'96, Poitiers, France, pp. 23-32. -août 1996.
[5] Breen(D.),Whitaker(R.),Rose(E.)et Tuceryan(M.). -Interactive Occlusion and Automatic Object Placement' for Augmented Reality.In : EUROGRAPHICS'96, Poitiers, France. - 1996.
[6] Dementhon (D.) et Davis (L.). -Model Based Object Pose in 25 Lines of Code. International Journal of Computer Vision, vol. 15, 1995, pp. 123-141.
[7] Ertl (G.), Müller-Seelich (H.)et Tabatabai (B.). - MOVE-X : A System for Combining Video Films and Computer Animation. In : Eurographics, pp. 305-313. - 1991.
[8] Kass(M.),Witkin(A.)et Terzopoulos (D.). -Snakes :Active Contour Models. International Journal of Computer Vision, vol. 1, 1988, pp. 321-331.
[9] Kriegman (D.) etPonce (J.). - On Recognizing and Positioning Curved 3D Objects from Image Contours. IEEE Transactions on PAMI, vol . 12, if 12, décembre 1990, pp. 1127-1137.
[10] Ravela (S.), Draper (B.), Lim (J.) et Weiss (R.). - Tracking Object Motion Across Aspect Changes for Augmented Reality. In : ARPA Image Undertanding Worshop, Palm Spring (USA).- août 1996.
[11] Rousseeuw (P.) et Leroy (A.). -Robust Regression and Outlier Detection. Wiley, 1987, Wiley Series in Probability and Mathematical Statistics.
[12] Simon (G.)etBerger (M.-O.).-A Two-stage Robust Statistical Method for Temporal Registration from Features of Various Type . -Rapport derecherche rP 3235, INRIA, août 1997.
[13] Simon (G.) etBerger(M.-O.).-A Two-stage Robust Statistical Method for Temporal Registration from Features of Various Type .In : Proceedings of 6th International Conference on Computer Vision, Bombay (India), pp.261-266. -janvier1998.
[14] State (A.),Livingstone(M.),Garett(W.),Hirota(G.),Whitton(M.) etPisan (E.). -Technologies for Augmented Reality Systems : Realizing Ultrasound Guided Needle Biopsies. In : Computer Graphics (Proceedings Siggraph New Orleans), pp.439-446. - 1996.
[15] Tomasi (C.) et Kanade (T.). - Shape and Motion from Image Streams under Orthography : A Factorization Method. International Journal of Computer Vision, vol. 9, rf 2, 1992, pp. 137-154.
[16] Uenohara (M.) et Kanade (T.). - Vision based object registration for real time image overlay.Journal of Computers in Biology and Medecine, 1996.
[17] Wloka(M.)et Anderson(B.). -Resolving Occlusions in Augmented Reality. In : S)m/'osccc on Interactive 3D Graphics Proceedings, (New York), pp . 5-12. -août1995.