Développement d'un scanner 3D multispectral

Développement d'un scanner 3D multispectral

Development of a 3D multispectral scanner

A. Mansouri A. Lathuiliere  F.S. Marzani  Y. Voisin 

Le2i, UMR CNRS 5158, Université de Bourgogne, IUT du Creusot, 12 rue de la fonderie, 71200 Le Creusot, Fance

Corresponding Author Email: 
franck.marzani@u-bourgogne.fr
Page: 
707-719
|
Received: 
15 June 2004
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

In this paper, a new technique of scanning is proposed. It is based on a stereoscopic set composed of a structured light projector and a multispectral camera. Such a set can give the 3D information of a point like a scanner but can add accurate information about the spectral reflectance of this point. This set must be calibrated before using it. It is done by two steps: the first one is the spectral characterization of the couple illuminant and camera; the second allows geometrically calibrating the complete set.

Afterwards, the image acquisition can begin. A first multispectral image of the scene is obtained without projection of structured light. Then, with a LCD projector, a luminous line scans the scene. For each line, a grey level image is acquired. The use of the geometrical calibration parameters allows the processing of the three-dimensional coordinates of the lighted points on the scene. Moreover, and it is the main goal of the proposed system, a spectral reflectance can be associated to the built points. This spectral data comes, on one hand, from the already-done spectral characterization, and, on the other hand, from the first multispectral image acquired without projection of structured light. By comparing the results issued from such a system and those from a system composed of a color camera or a color scanner, we notice that the spectrum associated to the three-dimensional points brings much more informative data than only three color components: for example, since the spectral reflectance is independent of the light used during the acquisition, the 3D scene can be easily simulated under any illuminant. This kind of simulations finds a great interest in several multimedia applications such as 3D objects visualization for virtual museums.

Résumé

Dans cet article, une nouvelle technique de scanning est proposée. Elle est basée sur un système stéréoscopique composé d’un projecteur de lumière structurée et d’une caméra multispectrale. Un tel système offre la possibilité de donner l’information 3D d’un point comme pour un scanner classique mais également de fournir une information précise sur le spectre de réflectance de ce point. Avant utilisation, il est nécessaire de calibrer l’ensemble. Le calibrage se déroule en deux étapes : la première d’entre elles consiste à caractériser la réponse spectrale de l’ensemble illuminant et caméra, la seconde permet de le calibrer géométriquement.

A ce stade, l’analyse de la scène à reconstruire consiste, en premier lieu, en l’acquisition d’une unique image multispectrale de la scène sans projection de motif caractéristique. Ensuite, à l’aide d’un projecteur LCD, une ligne de lumière est projetée en balayage sur la scène. Pour chaque projection de ligne, une image en niveaux de gris est acquise. L’utilisation des paramètres de calibrage géométrique permet de remonter aux coordonnées tridimensionnelles des points illuminés de la scène. De plus, et c’est ici que réside l’apport principal du système proposé, un spectre de réflectance est associé à chacun des points reconstruits. Cette information spectrale provient d’une part, de la caractérisation spectrale préalablement effectuée et d’autre part, de la première image multispectrale acquise sans projection de lumière structurée. Si l’on compare les résultats obtenus avec un tel système et ceux issus d’un système composé d’une caméra couleur ou d’un scanner couleur, on remarque que le spectre associé aux points tridimensionnels apporte une information considérablement plus riche qu’un simple triplet de composantes chromatiques : par exemple, l’information spectrale étant indépendante de l’illuminant utilisé pendant l’acquisition, la scène 3D reconstruite peut être aisément simulée sous un illuminant quelconque. Ce genre de simulations trouve son intérêt dans des applications multimédias de type visualisation d’objets 3D pour des musées virtuels.

Keywords: 

Multispectral camera, structured light, 3D reconstruction, spectral characterization, geometrical calibration, spectral reflectance, visualization

Mots clés

Caméra multispectrale, lumière structurée, reconstruction 3D, caractérisation spectrale, calibrage géométrique, spectre de réflectance, visualisation

1. Introduction
2. Description Du Système
3. Calibrage
4. Reconstruction
5. Résultats Et Discussion
6. Conclusion
  References

[Battle] J. BATTLE, J. MOUADDIB, J. SALVI, « Recent Progress in Coded Structured Light as a Technique to Solve the Correspondence Problem: a Survey», Pattern recognition, Vol. 31, #7, 1998, p. 963-982.

[Burns] P.D. BURNS, «Analysis of image noise in Multispectral color acquisition», Ph. D. Thesis, Center for Imaging Science, Rochester Institute of technology, 1997.

[Day] E. A. DAY, F. H. IMAI, L. A. TAPLIN. «Comparison of the accuracy of various transformations from multi-band images to reflectance spectra», Technical report, Spectral color imaging laboratory group, munsell color science laboratory, Chester F. Carlson center for imaging science, Rochester institute of technology, 2002.

[Garcia] D. GARCIA, J.J. ORTEU, M. DEVY, « Accurate Calibration of a Stereovision Sensor: Comparison of Different Approaches», 5th Workshop on Vision Modeling and Visualization, Saarbrücken, Deutschland, 22-24 November 2000, p. 25-32.

[Hardeberg1] J.Y. HARDEBERG, F. SCHMITT, H. BRETTEL, J. P. CRETTEZ, H. MAITRE, «Multispectral image acquisition and simulation of illuminant changes », Colour Imaging: Vision and Technology, MacDonald and Luo ed. John Wiley & Sons, Chichester, England, 1999, p. 145-164.

[Hardeberg2] J.Y. HARDEBERG, «Acquisition and reproduction of color images: colorimetric and multispectral approaches», dissertation.com, Parkland, Florida, USA, 2001.

[Hardeberg3] J.Y. HARDEBERG, F. SCHMITT, H. BRETTEL, «Multispectral color image capture using liquid crystal tunable filter», Optical engineering, Vol. 41, #10, 2002, p. 2532-2548.

[Horaud] R. HORAUD, O. MONGA, «Vision par ordinateur: outils fondamentaux», Ed. Hermès, 2ème édition, chapitre 5, 1995, p. 139-186.

[Imai] F. H. IMAI, M. R. ROSEN, R.S. BERNS, «Comparative study of metrics for spectral match quality», in Proc. of the First European Conference on Color in Graphics, CGIV’2002, Imaging and Vision, IS&T, Springfield, VA, 2002, p. 492-496.

[Jaeggli] T. JAEGGLI, T.P. KONINCKX, L. VAN GOOL, «Online 3D Acquisition and Model Integration», IEEE international workshop on projector-camera systems (in conjunction with ICCV 2003), Nice, France, October 2003.

[Lathuiliere1] A. LATHUILIERE, F.S. MARZANI, Y. VOISIN, «Modélisation d’un projecteur vidéo suivant le modèle du sténopé dans le cadre d’un système de stéréovision active », 4ème colloque francophone, Contrôles et Mesures Optique pour l’Industrie, Belfort, 17-21 novembre 2003, p. 27-32.

[Lathuiliere2] A. LATHUILIERE, F.S. MARZANI, Y. VOISIN, «Calibration of a LCD-Projector with Pinhole Model in Active Stereovision Applications », SPIE Photonics Technologies for Robotics, Automation and Manufacturing, Providence, Rhode Island, USA, 28-30 October 2003, p. 199-204.

[Luong] Q.T. LUONG, O.D. FAUGERAS, «Camera Calibration, Scene Motion and Structure Recovery from Point Correspondances and Fundamental Matrices», IJCV, Vol. 22, #3, 1997, p. 261-289.

[Mansouri1] A. MANSOURI, F.S. MARZANI, J.Y. HARDEBERG, P. GOUTON, « Calibrage Optique et Restauration des Images Monobandes d’un Système Multispectral », MajecStic, Marseille, France, 29-31 octobre 2003, CDRom Proceedings.

[Mansouri2] A. MANSOURI, F. S. MARZANI, P. GOUTON, «Systematic noise characterization of a CCD camera: application to a multispectral imaging system », Complex Systems Intelligence and Modern Technological Applications (CSIMTA), Special Session on Color Image Processing and Analysis for Machine Vision, Cherbourg, France, September 2004, p. 640-644.

[Mansouri3] A. MANSOURI, J.Y. HARDEBERG, F.S. MARZANI, P. GOUTON, «Optical calibration by deblurring channelimages of a multispectral system», IASTED Conference, Visualization, Imaging, and Image Processing, Benalmadena, Espagne, Vol. 1, 8-10 septembre 2003, p. 210-215.

[Marquardt] D.W. MARQUARDT, «An algorithm for Least-Squares Estimation of Nonlinear parameters», J. Soc. Indust. Appl. Math., Vol. 11, #2, 1963, p. 431-441.

[Prieto] F. PRIETO, « Métrologie assistée par ordinateur: Apport des capteurs 3D sans contact », Thèse de doctorat, Montréal, Canada, janvier 2000.

[Ribés] A. RIBES, F. SCHMITT, «A fully automatic method for the reconstruction of spectral reflectance curves by using mixture density networks», Pattern recognition letters, Vol. 24 , #11, 2003, p. 1691- 1701.

[Rusinkiewicz1] S. RUSINKIEWICZ, O. HALL-HOLT, M. LEVOY, «Real-Time 3D Model Acquisition», ACM Trans. On Graphics, Siggraph 2002.

[Rusinkiewicz2] S. RUSINKIEWICZ, M. LEVOY, «Efficient Variants of the ICP Algorithm», 3rd Int. Conf. on 3D Digital Imaging and Modeling, 2001.

[Tominaga] S. TOMINAGA, « Spectral imaging by multichannel camera», Journal of Electronic Imaging, Vol. 8, #4, October 1999.

[Tzeng] Di-Y. TZENG, F.H. IMAI, R.S. BERNS, «A comparative analysis of spectral reflectance estimated in various spaces using a trichromatic camera system». Journal of imaging science and technology, vol. 44, 2000, p. 280-287.

[Wang] G. WANG, Z. HU, F. WU, H.T. TSUI, «Projector-Camera Based System for Fast Object Modeling», IEEE international workshop on projector camera systems (in conjunction with ICCV 2003), Nice, France, October 2003.

[Woo] S. WOO, A. DIPANDA, F. MARZANI, Y. VOISIN, «Determination of an optimal configuration for a direct correspondance in an active stereovision system», Proc. On 2nd IASTED INT. Conf. VIIP, Malaga, Espagne, September 2002, p. 596-601.