Integrated Motion Detection and Tracking for Ultra Low Power Vision Chip with Adaptive Acuity. Multirésolution Adaptative Pour un Système de Vision Ultra Faible Consummation avec Détection de Mouvement et Suivi Integers

Integrated Motion Detection and Tracking for Ultra Low Power Vision Chip with Adaptive Acuity

Multirésolution Adaptative Pour un Système de Vision Ultra Faible Consummation avec Détection de Mouvement et Suivi Integers

Arnaud Verdant Antoine Dupret  Hervé Mathias  Patrick Villard 

CEA LETI-MINATEC, 17 rue des Martyrs, 38054 Grenoble Cedex 9, France

IEF, Bâtiment 220, Université Paris Sud 11, 91405 Orsay Cedex, France

Page: 
279-294
|
Received: 
14 March 2008
|
Accepted: 
N/A
|
Published: 
30 September 2009
| Citation

OPEN ACCESS

Abstract: 

An ultra low power vision chip dedicated to video surveillance is presented. Based on a multiresolution acquisition scheme, this CMOS image sensor (CIS) performs integrated adaptive motion detection and tracking by focusing on targets with high resolution while keeping background in low resolution. In a context of embedded steady camera, this sensor’s acuity adaptation to the scene activity by waking up on region of interest leads to a reduced amount of processed and memorized data. Drastic power consumption reduction is so achieved. Processing steps are exposed as well as simulations results obtained from a high level modeling of our image sensor taking into account process parameters.

Résumé

Cet article décrit un système de vidéo surveillance ultra faible consommation. Basé sur un principe d’acquisition multi résolution, ce Capteur d’Image CMOS (CIC) réalise une détection de mouvement avec suivi intégré en appliquant une haute résolution sur les cibles, tout en maintenant le fond de la scène en sous résolution. Dans un contexte de camera fixe embarquée, cette adaptation de l’acuité de capteur suivant l’activité de la scène permet à l’imageur de se réveiller sur des régions d’intérêt et de réduire ainsi la quantité de données à mémoriser et traiter. Une réduction drastique de la consommation est ainsi obtenue. Les différentes étapes de traitement sont exposées, de même que les résultats de simulations obtenus à partir d’une description haut niveau intégrant les paramètres technologiques du capteur d’image.

Keywords: 

Adaptive thresholding, analog processing, CMOS image sensor, motion detection, power consumption, multiresolution, parallel architecture, SoC, tracking, video surveillance.

Mots clés

Traitement analogique, capteur d’image CMOS, détection de mouvement, consommation d’énergie, multirésolution, architecture parallèle, système sur puce, suivi, vidéosurveillance, seuillage adaptatif.

1. Introduction
2. Contraintes Algorithmiques Imposées par l’Architecture
3. Définition des Métriques et Estimation des Performances avec les Algorithmes de la Littérature
4. Détermination du Mode de Basse Consommation
5. Amélioration des Algorithmes de Détection de Mouvement de Référence
6. Consommation d’Énergie Effective des Algorithmes
7. Conclusion
  References

[1] W. HU, T. TAN, L. WANG, and S. MAYBANK, « A Survey on Visual Surveillance of Object Motion and Behaviors », IEEE Transactions on Systems, Man and Cybernetics, Part C : Applications and Reviews, Vol. 34, N°3, 10/2004.

[2] MOINI A. and al., « An insect vision based motion detection chip », Solid-State Circuits, IEEE, Volume 32, Issue 2, Feb.1997 Page(s) : 279-284.

[3] MEHTA S., ETIENNE-CUMMINGS R., « Normal Optical Flow measurement on a CMOS APS imager», Circuits and Systems, ISCAS'04, IEEE, Volume 4, 23-26 May 2004 Page(s) : IV-848-51 Vol. 4.

[4] MILIRUD V. and al., « A wide dynamic range CMOS active pixel sensor with frame difference », Circuits and Systems, ISCAS 2005, IEEE, 23-26 May 2005 Page(s) : 588-591 Vol. 1.

[5] RICHEFEU J., MANZANERA A., « Motion Detection with smart sensor », 9th Congress Young Searchers in Computer Vision-ORASIS 05, May 05.

[6] MANZANERA A., RICHEFEU J., «A robust and computionally motion detection algorithm based on background estimation », ICVGIP' 04, December 2004.

[7] KEMENY SE. and al., « Multiresolution image sensor », Circuits and Systems for Video Technology, IEEE, Volume 7, Issue 4, Aug.1997 Page(s) : 575-583.

[8] PAIN B. and al., « Dynamically reconfigurable vision with high performance CMOS active pixel sensors (APS) Sensors », Proceedings of IEEE, Volume 1, 12-14 June 2002 Page(s) : 21-26 vol. 1.

[9] COULOMBE J. and al., «Variable resolution CMOS current mode active pixel sensor », Circuits and Systems, Proceedings. ISCAS 2000 Geneva, IEEE, Volume 2, 28-31 May 2000 Page(s) : 293-296 vol.2.

[10] ARTYOMOV E., YADID-PECHT O., « Adaptive multiple resolution CMOS active pixel sensor », Circuits and Systems, 2004. ISCAS’04,Volume 4, 23-26 May 2004 Page(s) : IV-836-9 Vol. 4.

[11] SAFFIH F. and al., « Multiresolution CMOS Image Sensor », Technical Digest of SPIE Opto-Canada 2002, Ottawa, Ontario, Canada 9-10, May 2002, p. 425.

[12] MASSIE M. and al., «Vision chip for navigating and controlling Micro Unmanned Aerial Vehicles», Circuits and Systems. ISCAS’03. Volume 3, 25-28 May 2003 Page(s) : III-786-III-789 vol.3.

[13] SUNG-MIN SOHN and al., « A CMOS image sensor (CIS) architecture with low power motion detection for portable security camera applications », Consumer Electronics, IEEE,Volume 49, Issue 4, Nov. 2003.

[14] MCCARLEY P.L. and al., « Large format variable spatial acuity superpixel imaging : visible and infrared systems applications », SPIE 2004, Orlando, FL.

[15] MOELICH M., «Autonomous Motion Segmentation of Multiple Objects in Low Resolution Video Using Variational Level Sets », 2003, Lawrence Livermore National Laboratory.

[16] JAEHYUK C., SANG-WOOK H., SEONG-JIN K., SUN-IL C., EUISIK Y., « A Spatial-Temporal Multi-Resolution CMOS Image Sensor with Adaptive Frame Rates for Moving Objects in the Regionof- Interest », ISSCC 2007.

[17] MOUTAULT S., MATHIAS H., KLEIN J.-O., DUPRET A., «An improved analog computation cell for Paris II, a programmable vision chip », ISCAS’04.

[18] VERDANT A., DUPRET A., MATHIAS H., VILLARD P., «Architecture for a low power image sensor with motion detection based ROI», ICECS 2007, IEEE.

[19] KLEIN J.-O., LACASSAGNE L., MATHIAS H., MOUTAULT S., DUPRET A., «Low power image processing : analog versus digital comparison», CAMP 2005.

[20] LACASSAGNE L., MILGRAM M. and GARDA P., «Motion detection, labeling, data association and tracking in real-time on risc computer», In Proc. IEEE ICIAP, pages 520.525, 1999.

[21] DENOULET J., MOSTAFAOUI G., LACASSAGNE L.,MÉRIGOTA., « Implementing Motion Markov Detection on General Purpose Processor and Associative Mesh », IEEE, CAMP 2005, 4-6 July 2005, Palermo, Italy.

[22] BLACK J., ELLIS T.J. and ROSIN P., «A novel method for video tracking performance evaluation », IEEE, VS-PETS, pages 125-132, October 2003.

[23] VERDANT A., DUPRET A., MATHIAS H., VILLARD P., « SystemC Validation of A Low Power Analog CMOS Image Sensor Architecture », Newcas 2007, IEEE.

[24] VERDANT A., DUPRET A., MATHIAS H., VILLARD P., LACASSAGNE L., «Low power motion detection with low spatial and temporal resolution for CIS », CAMPS’06, IEEE.

[25] VERDANT A., DUPRET A., MATHIAS H., VILLARD P., LACASSAGNE L., « Multirésolution adaptative pour imageurs CMOS très basse consommation », Colloque GRETSI 2007, IEEE.

[26] JINN-SHYAN W., HONG-YU L., «A new current-mode sense amplifier for low-voltage low-power SRAM», Eleventh Annual IEEE International ASIC Conference, 13-16 Sept. 1998 Page(s) : 163-167.