OPEN ACCESS
This article presents a fully automated calibration method suitable for complex acquisition systems made with one or more cameras, an inertial measurement unit and a 3D lidar. The principle consists in estimating the intrinsic and extrinsic parameters by matching features detected in the camera images with the 3D point cloud provided by the rangefinder. This work proposes a mathematical formalization for the unification of the three types of sensors within the same likelihood function and a minimization algorithm with three families of parameters that enables the simultaneous estimation of all calibration parameters. Experiments conducted on synthetic acquisition systems and real sequences are presented and assess the area of convergence of the proposed approach and its performance in terms of accuracy, correctness and robustness in the presence of noise.
RÉSUMÉ
Cet article présente une méthode entièrement automatique d’étalonnage de systèmes d’acquisition complexes comprenant une ou plusieurs caméras, une centrale inertielle et un lidar 3D. Le principe consiste à estimer les paramètres intrinsèques et extrinsèques en mettant en correspondance des primitives détectées dans les images des caméras avec le nuage de points 3D fourni par le télémètre. Ce travail propose une formalisation mathématique unifiant les trois types de capteurs au sein d’une même fonction de vraisemblance, une stratégie pour l’évaluation rapide de contraintes entre les données images et les données télémétriques, et enfin, l’utilisation d’un algorithme de minimisation à quatre familles de paramètres qui permet une estimation simultanée de tous les paramètres d’étalonnage. Des expériences réalisées sur des systèmes d’acquisition synthétiques et réelles évaluent le domaine de convergence de l’approche proposée ainsi que ses performances en termes de précision et de robustesse en présence de bruit
automatic calibration, optimisation, bundle-adjustment, IMU, 3D lidar
MOTS-CLÉS
étalonnage automatique, optimisation, ajustement de faisceau, centrale inertielle, télémètre 3D
Barreto J. P. (2006). A unifying geometric representation for central projection systems. Computer Vision and Image Understanding, vol. 103, no 3, p. 208–217.
Besl P., McKay H. (1992). A method for registration of 3-D shapes. IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 14, no 2, p. 239–256.
Florez S. A., Fremont V., Bonnifait P. et al. (2008). Influence of intrinsic parameters over extrinsic calibration between a multi-layer lidar and a camera. In Proc. ieee int. conf. on intelligent robots and systems. Nice, France.
Harris C., Stephens M. (1988). A combined corner and edge detector. In Proc. of fourth alvey vision conference, p. 147–151.
Horn R., Johnson C. (2012). Matrix analysis. Cambridge university press.
Lébraly P. (2012). Etalonnage de caméras à champs disjoints et reconstruction 3d: Application à un robot mobile. Thèse de doctorat non publiée, Université Blaise Pascal-ClermontFerrand II.
Lobo J., Dias J. (2007). Relative pose calibration between visual and inertial sensors. Int. Journal of Robotic Research, vol. 26, no 6, p. 561–575.
Malartre F. (2011). Perception intelligente pour la navigation rapide de robots mobiles en environnement naturel. Thèse de doctorat non publiée, Ecole Doctorale des Sciences Pour l’Ingénieur de Clermont Ferrand.
Marquardt D. W. (1963). An algorithm for least-squares estimation of nonlinear parameters. Journal of the Society for Industrial & Applied Mathematics, vol. 11, no 2, p. 431–441.
Mei C. (2007). Couplage vision omnidirectionnelle et télémétrie laser pour la navigation en robotique/laser-augmented omnidirectional vision for 3d localisation and mapping. Thèse de doctorat non publiée, École nationale supérieure des Mines de Paris.
Mostafa M., Hutton J., Reid B. et al. (2001). Gps/imu products-the applanix approach. In Photogrammetric week, vol. 1, p. 63–83.
Pandey G., McBride J. R., Savarese S., Eustice R. (2012, July). Automatic targetless extrinsic calibration of a 3d lidar and camera by maximizing mutual information. In Proc. aaai national conference on artificial intelligence, p. 2053–2059. Toronto, Canada.
Paparoditis N., Papelard J., Cannelle B., Devaux A., Soheilian B., David N. et al. (2012). Stereopolis ii: A multi-purpose and multi-sensor 3d mobile mapping system for street visualisation and 3d metrology. Revue Franaise de Photogrammétrie et de Télédétection, vol. 200, p. 69–79.
Royer E., Lhuillier M., Dhome M., Lavest J. M. (2007). Monocular vision for mobile robot localization and autonomous navigation. Int. Journal of Computer Vision, vol. 74, p. 237-260.
Rusinkiewicz S., Levoy M. (2001, May). Efficient variants of the icp algorithm. In Proc. ieee int. conf. on 3-d digital imaging and modeling, p. 145-152.
Taylor C. J., Kriegman D. J. (1994, April). Minimization on the lie group so (3) and related manifolds. Rapport technique no 9405. Center for Systems Science, Yale University.
Vasconcelos F., Barreto J., Nunes U. (2012). A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder. IEEE Trans. on Pattern Analysis and Machine Intelligence.
Wurm K. M., Hornung A., Bennewitz M., Stachniss C., Burgard W. (2010). Octomap: A probabilistic, flexible, and compact 3d map representation for robotic systems. In Proc. of the icra workshop on best practice in 3d perception and modeling for mobile manipulation, vol. 2. Anchorage, USA.
Zhu Z., Liu J. (2013). Unsupervised extrinsic parameters calibration for multi-beam lidars. In Int. conf. on computer science and electronics engineering. Hangzhou, China.