A Multispectral Omnidirectional Stereoscopic Sensor. Un Capteur de Vision Multi Spectrale Omnidirectionnelle: Conception,Calibrations et Exploitation

A Multispectral Omnidirectional Stereoscopic Sensor

Un Capteur de Vision Multi Spectrale Omnidirectionnelle: Conception,Calibrations et Exploitation

Olivier Romain XThomas Ea  Claude Gastaud  Patrick Garda 

Laboratoire des Instruments et des Systèmes d’Ile-de-France, LISIF, Université Pierre et Marie Curie 4 place Jussieu, BC252, 75252 Paris cedex 05, France

Institut Supérieur d’Electronique de Paris, ISEP, 28 rue Notre Dame des Champs, 75006 Paris

Page: 
537-548
|
Received: 
24 January 2005
|
Accepted: 
N/A
|
Published: 
31 December 2005
| Citation

OPEN ACCESS

Abstract: 

The 3D reconstruction of an environment with a high degree of accuracy and faithful textures represents an important challenge for applications related to the multimedia and cinematography.We present in this article,the complete development,of the electronic design to the algorithmic restitution of the environment,of a multispectral omnidirectional stereoscopic sensor that tackles this problem.Although panoramic sensors exist,the vision system presented here has four channels of acquisition coupled to a projector of structured light emitting in the infra-red.This original process separates the acquisition of colors textures independently of the 3D reconstruction.The panoramic images colors are corrected starting from ICC (International Color Consorsium) profiles of the two cameras.The reconstruction of the environment uses only the invariable available on the infra-red channels.An active calibration technique is also presented.Experimental results demonstrate the feasibility of this new class of multispectral omnidirectionnal vision sensor.

Résumé

La reconstruction d’un environnement avec une grande précision et des textures fidèles représente un besoin important pour des applications liées aux mondes de l’événementiel,de la cinématographie et du multimédias. Nous présentons dans cet article,le développement complet,de la conception électronique à la restitution algorithmique de l’environnement,d’un système de vision stéréoscopique omnidirectionnel multi spectral permettant de répondre à ce besoin. L’architecture du système présentée ici,possède la particularité d’avoir deux caméras (munies de quatre canaux d’acquisition) couplées à un projecteur de lumière structurée infrarouge. Ce procédé original d’acquisition traite le processus d’obtention des textures couleurs indépendamment de celui de la reconstruction 3D. Les images panoramiques couleurs sont corrigées à partir des profils ICC (International Color Consorsium) des deux caméras. La reconstruction 3D de l’environnement utilise les informations disponibles sur les canaux infrarouges des deux caméras. Une étape préliminaire de calibrage actif est aussi présentée. Des résultats expérimentaux démontrent la faisabilité de cette nouvelle classe de capteur de vision multi spectrale omnidirectionnelle.

Keywords: 

panoramic vision sensor,omnidirectionnal vision sensor,multi spectral acquisition,scan-lines CCD camera,active calibration and 3D reconstruction.

Mots clés 

Capteur de vision panoramique,capteur de vision omnidirectionnelle,acquisition,multi spectrale,caméras CCD linéaires,calibrage actif et reconstruction 3D.

1. Introduction
2. Capteur Panoramique: 1 Axe
3. Acquisition Multi Spectrale
4. Capteur de Vision Omnidirectionnelle: 2 Axes
5. Calibrage Actif
6. Reconstruction Tridimensionnelle
7. Conclusion
  References

[BASU] A. BASU, «Active calibration: Alternative strategy and analysis ». In Proc of ICCV'93, pages 495-500, New-York, USA, 1993. 

[BATLLE] J. BATLLE, E. MOUADDIB, J. SALVI, «Recent Progress in Coded Structured light as a technique to solve the correspondance problem: a survey», Pattern Recognition Letter, vol 31, n°7, pp. 963982, 1998 

[BENOSMAN] R. BENOSMAN,T. MANIERE and J. DEVARS, «Panoramic Sensor Calibration using computational projective geometry». In Proc. of the IEEE Conference on Robotics and Automation, April 1997. 

[BENOSMAN2] R. BENOSMAN, «Reconstruction d'environnements perçus par un capteur panoramique de stéréovision et détermination des méthodes de CAO», Thèse de doctorat, Université Pierre et Marie Curie, 1997. 

[CHRISTY] S. CHRISTY, «Localisation et modélisation tridimensionnelles par approximations successives du modèle perspectif de caméra», Thèse de doctorat, INPG, Grenoble, 17 septembre 1998.

[COHERENT] Cohérent. Filtre dichroïque couleur. http://www.catalog.cohr.com/ 

[DU] F. DU and M. BRADY. « Self-Calibration of the Intrinsics Parameters of Cameras for Active Vision Systems». In Proc. Of IEEE Conf. On Computer Vision and Pattern Recognition. New York, NY, pp. 477482, June 1993. 

[ELHAKIM] S. F. EL-HAKIM, P. BOULANGER, F. BLAIS, J. A. BERALDIN, «A system for indoor virtual environment models», in Proc. Virtual Systems ans Multimedia, VSMM’97, Sept 10, 1997.

[FAUGERAS] O. FAUGERAS, T. LUONG and S. MAYBANK, «Camera Self-Calibration: theory and experiments», In Proc. of the 2nd ECCV. 

[HARTLEY] R. Hartley, « Self-calibration from multiple views with a rotating camera». In Proc. of the 3rd ECCV'94, vol 800-801 of lectures notes in computer science, pages 471-478, Stockholm, Sweden, May 1994. 

[HORAUD] R. HORAUD, R. MOHR and B. LORCKI, «On single-scanline camera calibration». In Proc. of the IEEE Transaction on Robotics and Automation, 9(1):71-75, February, 1993. 

[ISHIGURO] H. Ishiguro, T. Maeda, T. Miyashita and S. Tsuji, « A strategy for acquiring an environmental model with panoramic sensing by a mobile robot». In Proc. of the ICRA’94, pages 724-729,1994. 

[JARVIS] R. A. JARVIS et J. C. BYRNE, «An automated guided vehicule with map building and path finding capabilities». In Proc. of the 4th ISPP, pages 497-504,1988. 

[LASER] Laser 2000, module laser infrarouge. http://www.laser2000.com 

[LENZ] R. K. LENZ and R. Y. TSAI, «Techniques for calibration of the scale factor and image center for high accuracy 3d machine vision metrology». In Proc. of the IEEE Trans. Pattern Analysis and Machine Intelligence, 10(5):713-720, 1988. 

[MANIERE] T. MANIÈRE, R. BENOSMAN, J. DEVARS and C. GASTAUD, «Vision System dedicated to Panoramic Scene Reconstruction». Journal of Electronic imaging 7(3), 672-676 (July 1998). 

[MARTINS] H. A . MARTINS, J. R. BIRK and R. B. KELLEY, «Camera models based on data from two calibration planes», Artificial Intelligence, 17:173-180, 1981. 

[MENSI] News de MENSI, «L’intérêt des studios d’effets speciaux dans la technologie 3D de Mensi devient une réalité», Juillet/Août 1999, http://www.mensi.com/french/news.html. 

[MONGA] R. HORAUD et O. MONGA, «Vision par ordinateur», 2nd édition, édition Hermès. 

[OMNICAM] Projet Omnicam, http://www.cs.columbia.edu/CAVE/omnicam/prototypes.htm 

[PEGARD] C. PEGARD et E. MOUADDIB «A mobile robot using a panoramic view». In Proc.of the IEEE Conference on Robotics and Automation, pages 89-94, 1996. 

[PELEG] S. PELEG, M. BEN-EZRA and Y. PRITCH «Omnistereo: Panoramic stereo imaging». In Proc. of the IEEE Trans. PAMI 23, pp. 279-290 2001. 

[PERI] V. N. PERI et S. K. NAYAR, «Generation of Perspective and Panoramic Video from Omnidirectional Video». In Proc. of DARPA Image Understanding Workshop, New Orleans, May 1997. 

[ROMAIN] O. ROMAIN et al., «A multispectral sensor dedicated to 3D spjerical reconstruction». In Proc. of the IEEE Int. Conf. on Image Processing, ICIP’01, Thessaloniki, Greece, October 2001. 

[ROMAIN2] O. ROMAIN, «Un capteur d’images omndirectionnelles multi-spectrales: conception, auto-calibrage et exploitation», Thèse de doctorat, Université Pierre et Marie Curie, 2001. 

[SMADJA] L. SMADJA, R. BENOSMAN et J. DEVARS, «Cylindrical sensor calibration using lines». In Proc. of the IEEE ICIP, October 24-27, Singapor. 

[SARACHIK] K.B SARACHIK, «Characterizing an indoor environement with mobile robot and uncalibrated stereo». In Proc of IEEE ICRA,2 :984 989, 1989. 

[SEO] Y. SEO and K. S. HONG, «Auto-Calibration of a Rotating and Zooming Camera». In Proc. of IAPR Workshop on Machine Vision Applications, MVA’98, Nov 17-19, Makuhari, Chiba, Japan, 1998.

[SHUM] H. SHUM and R. SZELISKI, «Stereo reconstruction from multiperspective panoramas». In Proc. of Seventh International Conference on Computer Vision [2], pages 14-21. 

[SKORDAS] T. SKORDAS, «Derniers progrès en autocalibrage de caméras ccd», Traitement du signal, 12(1):31-52,1995. 

[STEIN] G. P. STEIN, «Accurate Internal Camera Calibration Using Rotation, with Analysis of Sources of Error». In Proc. of the 5th ICCV, Cambridge, MA, USA, pp. 230-236, 1995. 

[YAGI] Y. YAGI, S. KAWATO et S. TSUJI, «Real-Time omnidirectional image sensor (copis) for vision-guided navigation». In Proc. of the IEEE Transaction on Robotics and Automation,Vol.10(1),Avril 1990.