Recent Advances in Camera Auto Calibration
Une Revue des Derniers Progrès en Autocalibration de Caméras CCD
OPEN ACCESS
Calibrating a camera involves determining the mathematical relationship between the 3D co-ordinates of a scene point and the corresponding 2D co-ordinates of its image projection. By using a pinhole model of the camera, this relationship can be expressed in terms of a 3 X 4 matrix calledthe perspective transformation matrix.Several methods exist for the computation of this matrix. They are based on the minimisation ofa linear (or non-linear) criterion relating the co-ordinates of 3D points belonging to a known object (a calibration set-up) with their 2D image projections. These methods are generally supervised in that they necessitate the use of special calibration set-ups and assume that the calibration may be carried out at the beginning of each working session . Their use is therefore not well suited to the case of active vision systems where camera parameters may be continually varying.
Recently, several methods have been proposed for auto calibration of a visual sensor or stereo system : by auto calibration we mean methods allowing one to automatically calibrate a camera without use of special calibration set-ups. The objective of this paper is thus to present these new methods and to describe their current status. These methods may be classified into three categories : methods first requiring the computation of the epipolar geometry between two consecutive images of a sequence; methods that simultaneously estimate the parameters of the perspective transformation matrices and the 3D structure of the scene ; and finally methods that use the knowledge of a motion applied to the camera in order to estimate its calibration parameters . The mathematical principles behind each category of method are presented and the results obtained discussed.
Résumé
Le calibrage d'une caméra CCD consiste à déterminer la relation mathématique existant entre les coordonnées des points tridimensionnels (3D) de la scène et les coordonnées 2D de leurs points images . En considérant le modèle de caméra dit de sténopé,la relation entre les coordonnées des points 3D et leurs homologues images est exprimée sous la forme d'une matrice3 x 4appeléematrice de transformation perspective.Plusieurs méthodes existent permettant le calcul des éléments de cette matrice. Elles sont toutes basées sur la minimisation d'un critère linéaire (ou non) liant les coordonnées d'un certain nombre de points 3D appartenant à un objet étalon avec les coordonnées 2D de leurs correspondants extraits dans l'image . Ces méthodes sont généralement supervisées, nécessitent l'utilisation de mires spécifiques et supposent que le calibrage soit effectué au début de chaque session de travail et que la matrice de transformation perspective calculée reste stable au cours du temps. Leur emploi est donc mal adapté dans le cas de systèmes de vision active où les paramètres des caméras varient continuellement.
Récemment, plusieurs méthodes ont été proposées permettantd'autocalibrerune caméra (ou un système stéréo) :par autocalibrage nous désignons toute méthode permettant de calibrer automatiquement une caméra sans utiliser des objets (mires) spécifiques de calibrage. L' objectif de cet article est alors de présenter ces nouvelles méthodes et de décrire l'état actuel de leur avancement. Les méthodes existantes sont classifiées en trois catégories principales : les méthodes nécessitant d'abord le calcul de la géométrie épipolaire entre deux images successives d'une séquence, celles qui estiment à la fois les paramètres de transformation perspective des caméras et la structure 3D de la scène et enfin celles qui utilisent la connaissance a priori quant au déplacement effectué par une caméra pour estimer les paramètres de celle-ci. Les principes mathématiques de chacune de ces catégories sont présentés etles performances obtenues sont discutées.
Camera calibration, stereo calibration, active vision, projective reconstruction.
Mots clés
Calibrage de caméras, calibrage stéréo, vision active, reconstruction projective.
[Ayache89] N. Ayache, « Visionstéréoscopique et perception multisensorielle », InterEditions, 1989.
[Basu93] A. Basu, « Active calibration : alternative strategy and analysis », In Procs IEEE Conference on Computer Vision and Pattern Recognition, New York City, USA, June 1993, pp. 495-500.
[Beyer92] H. Beyer, « Geometric and Radiometric Analysis of a CCD-Camera Based Photogrammetric Close-Range System », PhD Thesis, Institut für Geodäsie und Photogrammetrie an der Eifgenössischen Technischen Hochschule Zürich, 1992.
[BoufamaMohrVeillon93] B. Boufama, R. Mohr, F. Veillon, « Euclidean constraints for Uncalibrated Reconstruction », In Procs. 4th International Conference on Computer Vision (ICCV),Berlin, Germany, May 1993, pp. 466470.
[DuBrady93] F. Du, M. Brady, « Self-Calibration of the Intrinsic Parameters of Cameras for Active Vision Systems », In Procs. IEEE Conference on Computer Vision and Pattern Recognition, CVPR' 93, New York, June 1993, pp. 477-482.
[Dron93] L. Dron, « Dynamic Camera Self-Calibration for Controlled Motion Sequences », InProcs. IEEE Conference on Computer Vision and Pattern Recognition,CVPR'93, New York, June 1993, pp. 501-506.
[FaugerasToscani87] O.D. Faugeras, G. Toscani, « Camera calibration for 3D Computer Vision » InProc. International Workshop on Machine Vision and Machine Intelligence, Tokyo, Japan, February 1987.
[Faugeras88] O.D. Faugeras, «Quelques pas vers la Vision Artificielle en trois dimensions », Technique et Sciences Informatiques,7(6), 1988, p. 547-590.
[Faugeras92] O.D. Faugeras, « What can be seen in three dimensions with an uncalibrated stereo rig », in Procs. Second European Conference on Computer Vision, 2nd ECCV, Santa Margherita Ligure, Italy, May 1992.
[FaugerasLuongMaybank92] S. Maybank, O.D. Faugeras, Q.T. Luong, « Camera self-calibration - Theory and experiments », in Procs. Second European Conference on Computer Vision, 2nd ECCV, Santa Margherita Ligure, Italy, May 1992.
[Fletcher87] P. Fletcher, « Practical methods of optimization », second edition, John Wiley and Son Ed.,1987.
[GillMurrayWright81] P. Gill, W. Murray, M. Wright, « Practical optimization », Academic Press, Harcourt Brace Jovanovich, Publishers.
[Hartley92] R.I. Hartley, « Estimation of relative camera positions for uncalibrated cameras », inProcs. Second European Conference on Computer Vision, 2nd ECCV, Santa Margherita Ligure, Italy, May 1992.
[Hartley94] R.I. Hartley, « Self-Calibration from multiple views with a rotating camera », Third European Conference on Computer Vision, J. O. Eklundh Ed., Vol. I, Stockholm, Sweden, June 1994, pp. 471-478
[HoraudDornaika95] R. Horaud, F. Dornaika, « Hand-Eye calibration », in International Journal of Robotics Research, 14(3), June 1995 .
[HoraudDomaikaBoufamaMohr94] R. Horaud, F. Dornaika, B. Boufama, R. Mohr, « Self Calibration of a Stereo Head Mounted onto a Robot Arm », Third European Conference on Computer Vision, J. O. Eklundh Ed., Vol . I, Stockholm, Sweden, June 1994, pp. 455-462.
[HuangFaugeras89] T. Huang, O.D. Faugeras, « Some properties of the E matrix in two-view motion estimation », IEEE Transactions on PAMI, vol. 11, 1989, pp. 1310-1312.
[Longuet-Higgins81] C.Longuet-Higgins, « A Computer Algorithm for Reconstructing a Scene from Two Projections », Nature, 293 :133-135, 1981.
[Luong92] Q.-T. Luong, «Matrice fondamentaleet calibrationvisuelle sur l'environnement-Vers uneplusgrande autonomie des systèmes Robotiques », Thèse del'universitéde Paris-Sud, Centred'Orsay, Décembre 1992.
[LuongDericheFaugerasPapadopoulo93] Q.T. Luong, R. Deriche, O. D. Faugeras, T. Papadopoulo, « On determining the Fundamental matrix : analysis of different methods and experimental results »,Rapport deRechercheINRIA N°1894,Avril 1993.
[LuongFaugeras93] Q.-T.Luong, O.D. Faugeras, « Determining the Fundamental matrix with planes : instability and new algorithms », In Procs IEEE Conference on Computer Vision and Pattern Recognition, New York City, USA, June 1993, pp. 489-494.
[MaybankFaugeras92] S.J. Maybank, O.D. Faugeras, « A theory of selfcalibration of a moving camera »,International Journal of Computer Vision, 8:2, 1992, pp. 123-151.
[McLaughlanMurray93] RE McLaughlan, D.W. Murray, « Variable state dimension filter applied to active camera calibration », In ProcsSPIESensor Fusion VI, Vol. 2059, September1993, Boston, MA, USA, pp . 14-25.
[Mohr92] R.Mohr,« Projective Geometry and Computer Vision », InHandbook of Pattern Recognition and Computer Vision, Eds. C. H. Chen, L. F. Pau, and P.S. Wang, World Scientific Publishing Company, 1992.
[MohrVeillon92] R.Mohr,F. Veillon, « Géométrieprojective,uneintroduction », Rapport LIFIA, Octobre 1992, 23 pages.
[MohrBoufamaBrandt92] R.Mohr, B. Boufama, P . Brandt, « Accurate Preojective Reconstruction », In Mundy Zisserman Forsyth Ed., Applications of Invariance in Computer Vision, Springer Verlag, Berlin Heidelberg, 1994, pp. 257-276.
[MohrVeillonQuan93] R. Mohr, F. Veillon, L. Quart, « Relative 3D Reconstruction using multiple uncalibrated images », In Procs IEEE Conference on Computer Vision and Pattern Recognition, New York City, June 1993.
[MongaHoraud93] O. Monga, R. Horaud, « Vision par Ordinateur : Outils fondamentaux», EditionsHermès, 1993.
[PhongHoraudYassineTao95] T.Q. Phong, R. Horaud, A. Yassine, P.D. Tao, « Object Pose from 2-D to 3-D Point and Line Correspondences », to appear inInternational Journal of Computer Vision, 1995.
[PugetSkordas90] R Puget, T. Skordas, « Calibrating a mobile camera », in Journal of Image and Vision Computing, Vol. 8, N°4, November 1990.
[Robert93] L. Robert, « Perceptionstéréoscopiquedecourbeset de surfaces tridimensionnelles. Application à laRobotique Mobile », Thèsedel'université de Paris-Sud, Centre d'Orsay, 1993.
[Shashua93] A. Shashua, « Projective Depth : A Geometric Invariant for 3D Reconstruction from two Perspective/Orthographic Views for Visual Recognition », In Procs. International Conference on Computer Vision (ICCV), Berlin, Germany, May 1993, pp. 583-590.
[SempleKneebone52] J.G. Semple, G.T. Kneebone, « Algebraic Projective Geometry », OxfordScience Publication, 1952.
[ToscaniFaugeras86] G. Toscani, O. Faugeras, « The Calibration problem for stereo », In Procs IEEE Conference on Computer Vision and Pattern Recognition,CVPR'86, 1986, pp. 15-20.
[Tsai87] R.Y Tsai, « A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses » . InIEEE Journal of Robotics and Automation, 3(4) : 323-344, 1987.
[Tsai89] R.Y. Tsai, « Synopsis of recent progress on camera calibration for 3D machine vision », in O. Khatib, J. J. Craig and T Lozano-Pérez eds.,The Robotics Review, MIT Press, MA, USA 1989.
[Viéville94] Th. Viéville, «Auto-calibration of visual sensor parameters on a robotic head », in International Journal of Image and Vision Computing, Vol. 12,1994.
[ViévilleZellerRobert95] Th. Viéville, C.Zeller, L. Robert, « Using collineations to compute motion and structure in an uncalibrated image sequence », to appear inInternational Journal of Computer Vision, 1995.
[ZhangLuongFaugeras93] Z. Zhang, Q.-T. Luong, O.D. Faugeras, « Motion of an uncalibrated stereo rig : self-calibration and metric reconstruction », in Procs. Asiatic Conference on Computer Vision, November 1993, Osaka, Japan.