Multi-View Geometry for General Camera Models. Géométrie d’Images Multiples pour des Modèles de Caméras Généraux

Multi-View Geometry for General Camera Models

Géométrie d’Images Multiples pour des Modèles de Caméras Généraux

Peter Sturm Srikumar Ramalingam 

INRIA Rhône-Alpes, 655 Avenue de l’Europe, 38330 Montbonnot, France

University of California, Dept. of Computer Science, Santa Cruz, USA

Page: 
483-495
|
Received: 
24 January 2005
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

We consider the structure from motion problem for a previously introduced,highly general imaging model,where cameras are modeled as possibly unconstrained sets of projection rays.This allows to describe most existing camera types (at least for those operating in the visible domain),including pinhole cameras,sensors with radial or more general distortions,catadioptric cameras (central or non-central),etc.We introduce a hierarchy of general camera models:the most general model has unconstrained projection rays whereas the most constrained model dealt with here is the central model,where all rays pass through a single point.Intermediate models are what we call axial cameras (all rays touch a single line),and x-slit cameras (rays touch two lines).The foundations for a multi-view geometry of completely non-central cameras are given,leading to the formulation of multi-view matching tensors,analogous to the fundamental/essential matrices,trifocal and quadrifocal tensors of perspective cameras.This framework is then specialized explicitly for the two-view case,for the intermediate camera types mentioned above.

Résumé

Nous considérons le problème de l’estimation de la structure et du mouvement pour un modèle de caméras hautement général,qui représente une caméra par un ensemble de rayons de projection. Ceci permet de décrire la plupart des types de caméras existants (du moins celles qui opèrent dans le domaine visible), y inclus les caméras sténopé,les caméras avec des distorsions radiales ou plus générales,les caméras catadioptriques (à point de vue unique ou non),etc. Nous introduisons une hiérarchie de modèles de caméras généraux :le modèle le plus général peut posséder des rayons de projection quelconques tandis que le modèle le plus contraint que nous considérons ici est le modèle à point de vue unique (tous les rayons passent par un même point). Parmi les modèles intermédiaires,nous identifions ce que nous appelons les caméras axiales (tous les rayons touchent une même ligne) et les caméras connues sous le nom de «cross-slit» (les rayons touchent deux lignes). Les fondements d’une géométrie d’images multiples pour le modèle de caméras le plus général sont donnés. Ils se manifestent par la formulation de tenseurs d’appariement multi-vues,qui sont l’analogue des matrices fondamentales/essentielles,tenseurs trifocaux ou quadrifocaux des caméras perspectives. Ce cadre théorique général est ensuite spécialisé pour les modèles de caméras intermédiaires mentionnés,pour le cas de deux images.

Keywords: 

Camera model,non-central camera,omnidirectional camera,matching tensor,epipolar geometry,multi-view geometry.

Mots clés 

Modèle de caméras,caméra non centrale,caméra omnidirectionnelle,tenseur d’appariement,géométrie épipolaire,géométrie d’images multiples.

1. Introduction
2. Coordonnées de Plücker
3. Une Hiérarchie de Modèles de Caméras
4. Paramétrisations
5. Géométrie d’Images Multiples
6. Le Cas de Deux Vues
7. Conclusions
  References

[1] Y.I. ABDEL-AZIZ et H.M. KARARA, «Direct Linear Transformation from Comparator Coordinates into Object Space Coordinates in Close-Range Photogrammetry», ASP/UI Symposium on Close-Range Photogrammetry, Urbana, Illinois, 1-18, 1971. 

[2] S. BAKER et S.K. NAYAR, «A theory of single-viewpoint catadioptric image formation», International Journal of Computer Vision, 35(2): 1-22, 1999. 

[3] H. BAKSTEIN, «Non-central cameras for 3D reconstruction, Rapport Technique CTU-CMP-2001-21», Center for Machine Perception, Czech Technical University, Prague, 2001. 

[4] H. BAKSTEIN et T. PAJDLA, «An overview of non-central cameras», Computer Vision Winter Workshop, Ljubljana, Slovénie, 223233, 2001. 

[5] J.-P. BARRETO et H. ARAUJO, «Paracatadioptric camera calibration using lines», ICCV, 1359-1365, 2003. 

[6] R. BENOSMAN et S.B. KANG (éditeurs), Panoramic Vision Sensors, Theory, and Applications, Springer Verlag, 2001. 

[7] E. BRASSART, L. DELAHOCHE, C. CAUCHOIS, C. DROCOURT, C. PEGARD et E. MOUADDIB, «Experimental Results Got With the Omnirectional Vision Sensor: SYCLOP», IEEE Workshop on Omnidirectional Vision, Hilton Head, Caroline du Sud, 145 -152, 2000. 

[8] O. FAUGERAS et B. MOURRAIN, «On the geometry and algebra of the point and line correspondences between n images», ICCV, 951956, 1995. 

[9] D. FELDMAN, T. PAJDLA et D. WEINSHALL, «On the epipolar geometry of the crossed-slits projection», ICCV, 988-995, 2003. 

[10] C. GEYER et K. DANIILIDIS, «A unifying theory of central panoramic systems and practical applications». ECCV, 445-461, 2000. 

[11] C. GEYER et K. DANIILIDIS, «Paracatadioptric camera calibration», PAMI, 24(5): 687-695, 2002. 

[12] C. GEYER et K. DANIILIDIS, «Mirrors in Motion: Epipolar geometry and motion estimation», ICCV, 2: 766-773, 2003. 

[13] M.D. GROSSBERG et S.K. NAYAR, «A general imaging model and a method for finding its parameters», ICCV, 2: 108-115, 2001. 

[14] R.I. HARTLEY et R. GUPTA, «Linear pushbroom cameras», ECCV, 555-566, 1994. 

[15] R.I. HARTLEY et A. ZISSERMAN, Multiple View Geometry in Computer Vision, Cambridge University Press, 2000. 

[16] R.A. HICKS et R. BAJCSY, «Catadioptric sensors that approximate wide-angle perspective projections», CVPR, 545-551, 2000. 

[17] H.C. LONGUET-HIGGINS, «A computer program for reconstructing a scene from two projections», Nature, 293: 133-135, 1981. 

[18] J. NEUMANN, C. FERMÜLLER et Y. ALOIMONOS, «Polydioptric camera design and 3D motion estimation», CVPR, II: 294-301, 2003. 

[19] D. NISTÉR, «An efficient solution to the five-point relative pose problem», CVPR, II: 195-202, 2003. 

[20] T. PAJDLA, «Epipolar Geometry of Some Non-classical Cameras», Computer Vision Winter Workshop, Bled, Slovenie, 159-180, 2001. 

[21] T. PAJDLA, T. SVOBODA et V. HLAVAC, «Epipolar Geometry of Central Panoramic Cameras», Dans Panoramic Vision: Sensors, Theory, and Applications, R. Benosman et S.B. Kang (éditeurs), 85-114, Springer Verlag, 2001. 

[22] T. PAJDLA, «Geometry of two-slit camera», Rapport Technique CTU-CMP-2002-02, Center for Machine Perception, Czech Technical University, Prague, 2002. 

[23] T. PAJDLA, «Stereo with oblique cameras», IJCV, 47(1-3): 161-170, 2002. 

[24] S. PELEG, M. BEN-EZRA et Y. PRITCH, «Omnistereo: Panoramic stereo imaging», PAMI, 23(3): 279-290, 2001. 

[25] R. PLESS, «Using many cameras as one», CVPR, II: 587-593, 2003. 

[26] W.H. PRESS, S.A. TEUKOLSKY, W.T. VETTERLING et B.P. FLANNERY, Numerical Recipes in C – The Art of Scientific Computing, Cambridge University Press, 1992. 

[27] L.S. SHAPIRO, A. ZISSERMAN et M. BRADY, «3D Motion Recovery via Affine Epipolar Geometry», IJCV, 16(2): 147-182, 1995. 

[28] H.-Y. SHUM, A. KALAI et S.M. SEITZ, «Omnivergent stereo». ICCV, 22-29, 1999. 

[29] P. STURM, «Algorithms for Plane-Based Pose Estimation», CVPR, 1010-1017, 2000. 

[30] P. STURM, «Mixing catadioptric and perspective cameras», Workshop on Omnidirectional Vision, Copenhague, 37-44, 2002. 

[31] P. STURM et S. RAMALINGAM, «A generic concept for camera calibration», ECCV, 1-13. 2004. 

[32] T. SVOBODA, Central Panoramic Cameras: Design, Geometry, Egomotion. Thèse de doctorat, Faculty of Electrical Engineering, Czech Technical University, Prague, 1999. 

[33] R. SWAMINATHAN, M.D. GROSSBERG et S.K. NAYAR, «A perspective on distortions», CVPR, II: 594-601, 2003. 

[34] J. YU et L. MCMILLAN, «General linear cameras», ECCV, 14-27, 2004. 

[35] A. ZOMET, D. FELDMAN, S. PELEG et D. WEINSHALL, «Mosaicing new views: The crossed-slit projection», PAMI, 25(6): 741-754, 2003.