Conception d’un système de reconnaissance de gestes dansés
Design of a dance gesture recognition system
OPEN ACCESS
We present here a whole operational prototype for the compression and recognition of dance gestures from contemporary ballet. Our input data are motion trajectories followed by the joints of a dancing body provided by a motion-capture system. We propose a suitable tool for nonuniform sub-sampling of spatio-temporal signals. The key of our approach is the use of polygonal approximation to provide a compact and efficient representation of motion trajectories. Our dance gesture recognition method involves a set of Hidden Markov Models (HMMs), each of them being related to a motion trajectory followed by the joints. We have validated our recognition system on 12 fundamental movements from contemporary ballet performed by 4 dancers.
Résumé
Nous présentons ici un prototype complet et opérationnel intégrant la compression et la reconnaissance de gestes dansés issus d'un ballet contemporain. Les données traitées sont des trajectoires de mouvement suivies par les articulations d'un corps dansant. Ces courbes spatio-temporelles sont fournies par un système de capture du mouvement. Nous proposons un outil efficace pour le sous-échantillonnage non uniforme de signaux spatio-temporels. Notre approche utilise une approximation polygonale des contours pour construire une représentation compacte et efficace des trajectoires de mouvement. Notre méthode de reconnaissance de gestes dansés repose sur un ensemble de Modèles de Markov Cachés (MMC) chacun étant associé à la trajectoire d'un marqueur. Nous avons validé notre système de reconnaissance sur 12 mouvements de base effectués par 4 danseurs d'un ballet contemporain.
Gesture recognition, hidden Markov model, motion trajectory, polygonal approximation, signal compression
Mots clés
Approximation polygonale, compression du signal, modèles de Markov cachés, reconnaissance de gestes, trajectoires de mouvement
[1] J.K. Aggarwal et Q. Cai, «Human motion analysis: a review », Computer Vision and Image Understanding, 73(3):428-440, mars 1999.
[2] L.E. Baum et J. Eagon, «An inequality with applications to statistical prediction for functions of Markov processes and to a model of ecology », Bull. Amer. Math. Soc., 73 : pp. 360-363, 1967.
[3] D. Berndt et J. Clifford, «Using dynamic time warping to find patterns in time series », Workshop on Knowledge Discovery in Databases, pp. 359-370, juillet 1994.
[4] M. Berthold, D.J. Hand, « Intelligent data analysis, an introduction »,1st edition, Springer-Verlag, New York, 1999.
[5] S. Boukir, E. Beets et F. Chenevière, « Représentation et compression de signaux spatio-temporels », Rapport de recherche RT-2002-09-001, Laboratoire L3i, Université de La Rochelle, Septembre 2002.
[6] L. Campbell et A. Bobick, « Recognition of human body motion using phase space constraints », ICCV 95, 5th Int. Conf. on Computer Vision, Cambridge MA, pp. 624-630, 1995.
[7] L.W. Campbell et al., «Invariant features for 3-D gesture recognition », Int. Conf. on Automatic Face and Gesture Recognition, pp. 157-162, 1996.
[8] F. Chenevière, S. Boukir et E. Beets, «Compression et reconnaissance de séquences spatio-temporelles issues d'un ballet contemporain », ORASIS'2003, 9ème Congrès Francophone en Vision par Ordinateur, Gérardmer, pp. 353-361, mai 2003.
[9] F. Chenevière, S. Boukir et B. Vachon, «A HMM-based dance gesture recognition system », IWSSIP 02, 9th Int. Workshop on Systems, Signals and Image Processing, Manchester, UK, pp. 322-326, novembre 2002.
[10] J.B. Durand, « Modèles à structure cachée : inférence, sélection de modèles et applications », thèse de doctorat, Université Joseph Fourier, Grenoble, janvier 2003.
[11] R.C. Gonzalez et R.E. Woods, «Digital image processing », 2nd edition, Prentice Hall, Upper Saddle River, 2002.
[12] D. Hall, C. Le Gal, J. Martin, O. Chomat et J.L. Crowley, «Magicboard: A contribution to an intelligent office environment », Robotics and Autonomous Systems, 35(3-4): 211-220, juin 2000.
[13] D. Herbisson-Evans, «Dance and the computer : A potential for graphic synergy », Technical Report 422, Basser Department of Computer Science, University of Sydney, janvier 1991.
[14] X.D. Huang, Y. Ariki et M.A. Jack, «Hidden Markov Models for speech recognition », 1st edition, Edinburgh University Press, Edinburgh, 1990.
[15] H. Kauppinen, T. Seppanen et M. Pietikainen, «An experimental comparison of autoregressive and Fourier-based descriptors in 2D shape classification», IEEE Trans. on Pattern Analysis and Machine Intelligence, 17(2): pp.201-207, 1995.
[16] E.J. Keogh et M. Pazzani, «Scaling up dynamic time warping to massive datasets », Proceedings of the 3rd European Conference on Principles of Data Mining and Knowledge Discovery (PKDD), Prague, Czech Republic, pp. 1-11, septembre 1999.
[17] L.J. Latecki et R. Lakamper, « Convexity rule for shape decomposition based on discrete contour evolution », Computer Vision and Image Understanding (CVIU), 73(3): pp. 441-454, mars 1999.
[18] T. C. Le Buhan Jordan et T.C. Ebrahimi, «Progressive polygon encoding of shape contours », Proc. of the 6th Int. Conference on Image Processing and its Applications (IPA'97), Dublin, Ireland, 1: pp.17-21, juillet 1997.
[19] M. Daehlen, T. Lyche et L. Schumaker, «Mathematical methods for curves and surfaces », 1st edition, Vanderbilt University Press, London, 1995.
[20] K. Muller et J.R. Ohm, « Wavelet-based contour descriptor », Technical report, MPEG-7 proposal nb. P567, février 1999.
[21] D. Ormoneit et al., « Learning and tracking cyclic human motion », Advances in Neural Information Processing Systems 13, Leen, Todd K. and Dietterich, Thomas G. and Tresp Volker Eds., The MIT Press, pp. 894-900, 2001.
[22] B. Pinkowski, « Fourier descriptors for characterizing object contour », ICSPAT 1996, Int. Conf. on Signal Processing Applications and Technology, Boston, pp. 1007-1011, 1996.
[23] A. Psarrou, S. Gong et M. Walter, « Recognition of human gestures and behaviour based on motion trajectories », Image and Vision Computing, 20: pp. 349-358, 2002.
[24] L.R. Rabiner, « A tutorial on hidden Markov models and selected applications in speech recognition », Proceedings of the IEEE, 77(2): 257-286, 1989.
[25] E. Saux et M. Daniel, « Data reduction of polygonal curves using B-splines», Computer-aided design, (31): pp.507-515, 1999.
[26] T. Starner et A. Pentland, « Visual recognition of american sign language using hidden markov models », Int. Workshop on Automatic Face and Gesture Recognition, Zurich, Switzerland, pp. 189-194, 1995.
[27] S. Sudarsky et D. House, « Motion capture data manipulation and reuse via B-splines », CAPTECH 98, Int. Workshop on Modeling and Motion Capture Techniques for Virtual Environments, pp. 55-69, 1998.
[28] N. Szilas, « Les réseaux récurrents supervisés : une revue critique », Rapport de recherche 972-I, Institut National Polytechnique de Grenoble, mars 1997.
[29] C. Vogler et D. Metaxas, « A framework for recognizing the simultaneous aspects of american sign language », Computer Vision and Image Understanding, 81(3): pp. 358-384, mars 2001.
[30] J. Weismann et R. Saloman, «Gesture recognition for virtual reality applications using data glove and neural networks», IEEE Int. Joint Conf. on Neural Networks, Washington DC, (3): pp. 2043-2046, 1999.
[31] M.H. Yang et N. Ahuja, «Recognizing hand gesture using motion trajectories », CVPR 99, IEEE Conf. on Computer Vision and Pattern Recognition, Ft. Collins, CO, pp. 466-472, Juin 1999.
[32] H.S Yoon, J. Soh, Y.J. Bae et H.S. Yang, «Hand gesture recognition using combined features of location, angle and velocity », Pattern Recognition, (34): pp.1491-1501, 2001.