Extraction et analyse de l’impact émotionnel des images

Extraction et analyse de l’impact émotionnel des images

Syntyche Gbèhounou François Lecellier  Christine Fernandez-Maloigne 

Département SIC du Laboratoire XLIM, UMR CNRS 7252, Université de Poitiers Bât. SP2MI, Téléport 2, Boulevard Marie et Pierre Curie, BP 30179 F-86962 Futuroscope Chasseneuil cedex

Corresponding Author Email: 
syntyche.gbehounou@univ-poitiers.fr
Page: 
409-432
|
DOI: 
https://doi.org/10.3166/TS.29.409-432
Received: 
N/A
|
Accepted: 
N/A
|
Published: 
31 August 2012
| Citation

OPEN ACCESS

Abstract: 

This paper proposes a method to extract the emotional impact of images based on accurate and low level features. We supposed their accuracy could also implicitly encode highlevel interesting or discriminant information for emotional impact extraction. Emotions are often associated with facial expressions, but we decided not to consider this feature as first emotional characteristic of natural images, which, in general, does not contain faces. Using this statement, our tests have been done on a new image database composed of low semantic diversified images. The complexity of emotion modeling was considered in classification process through psycho-visual tests. The twenty five observers assessed the nature and the power of emotions felt. For the nature of the emotion they had the choice between "Negative", "Neutral" and "Positive" and the power ranged from "Low" to "High". With the nature of emotions, we made a classification in three classes of emotions. The average success rate is 56.15 % for artificial neural network and 55.25 % for the SVM classifier; that is really relevant regarding the equivalent results in the literature.

RÉSUMÉ

Cet article propose une méthode d’extraction de l’impact émotionnel des images à partir de descripteurs bas niveau. Nous avons émis l’hypothèse que la précision de ces derniers encoderait des informations haut niveau intéressantes voire discriminantes pour les émotions. Il n’existe à ce jour aucun descripteur particulièrement adapté à l’étude de l’impact émotionnel des images. Les émotions ressenties dépendent, en effet, de plusieurs informations dans l’image mais également de sa nature (très sémantique ou non) ou encore de la durée d’observation. Plus ce temps est long plus l’interprétation sémantique de l’image prend le dessus sur l’émotion « primaire ». À ces descripteurs nous avons associé deux classifieurs performants, particulièrement adaptés à des discriminations d’informations complexes. Il s’agit d’un réseau de neurones multicouche et d’un SVM dans son extension multiclasse basée sur la stratégie « un contre un ». Très souvent, on associe les émotions à l’expression du visage, mais nous avons décidé de ne pas faire de cette information la principale caractéristique émotionnelle des images naturelles, qui en général ne contiennent pas de visages. Nous avons, à cet effet, effectué nos tests sur une base diversifiée de 350 images, construite à partir d’images à faible contenu sémantique. Notre choix de descripteurs est basé sur des supposés liens entre les émotions et le contenu des images mais également sur la précision qu’offrent certains descripteurs de traitement d’images en indexation ou en catégorisation. La complexité des émotions a été prise en compte en intégrant, au processus de classification, les résultats de tests psychovisuels que nous avons mis en place. Nous avons défini trois classes d’émotions. Les taux de réussite moyens obtenus lors de la classification sont de 56,15% pour le réseau de neurones et 55,25% pour le SVM. Ces résultats sont encourageants au regard des résultats de la littérature. Ces tests confirment aussi l’hypothèse que les descripteurs choisis sont complémentaires dans notre processus d’extraction des émotions.

Keywords: 

emotions, classification, artificial neural network, SVM, psycho-visual tests, color images

MOTS-CLÉS

émotions, classification, réseaux de neurones, SVM, tests psychovisuels, images couleur

Extended Abstract
1. Introduction
2. Cadre De Travail
3. Descripteurs Utilisés Pour La Reconnaissance Des Émotions
4. Classification Des Images
5. Conclusions Et Perspectives
  References

Beresniak D. (1990). Abc des couleurs leurs incidences dans votre vie quotidienne. Jacques Granger.

Chang C.-C., Lin C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, vol. 2, p. 27:1–27:27. (Software available at http://www.csie.ntu.edu.tw/~cjlin/libsvm)

Demanet L., Ying L. (2009). Wave atoms and time upscaling of wave equations. Numerische Mathematik, vol. 113, p. 1-71.

Ekman P. (1992). Facial expressions of emotions. Psychological science, vol. 3, no 1, p. 34-38.

Fernandez-Maloigne C., Trémeau A., Bonton P. (2004). Image numérique couleur: De l’acquisition au traitement. Dunod. Gbèhounou S., Lecellier F.,

Fernandez-Maloigne C. (2012). Extraction et analyse de l’impact émotionnel des images. In Actes de la conférence RFIA 2012, p. 470-477.

Grigorescu S., Petkov N., Kruizinga P. (2002, oct). Comparison of texture features based on gabor filters. Image Processing, IEEE Transactions, vol. 11, no 10, p. 1160-1167.

Jégou H., Douze M., Schmid C. (2010). Représentation compacte des sacs de mots pour l’indexation d’images. In 17˚congrès Reconnaissance des Formes et Intelligence Artificielle (RFIA ’10).

Kaya N., Epps H. H. (2004). Color-emotion associations: Past experience and personal preference. AIC Colors and Paints, Interim Meeting of the International Color Association.

Lang P., Bradley M., Cuthbert B. (2008). International affective picture system (IAPS): Affective ratings of pictures and instruction manual. technical report A-8. Rapport technique. University of Florida.

Le Meur O. (2005). Attention sélective en visualisation d’images fixes et animées affichées sur écran : Modèles et évaluation de performances-applications. Thèse, École polytechnique de l’Université de Nantes: École doctorale STIM.

Liu N., Dellandréa E., Chen L. (2011). Evaluation of features and combination approaches for the classification of emotional semantics in images. In International Conference on Computer Vision Theory and Applications.

Lowe D. G. (1999). Object recognition from local scale-invariant features. International Conference on Computer Vision, vol. 2, p. 1150-1157.

Lowe D. G. (2004). Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, vol. 60, p. 91-110.

Lucassen M. P., Gevers T., Gijsenij A. (2010). Adding texture to color: quantitative analysis of color emotions. In CGIV 2010 final program and proceedings.

Machajdik J., Hanbury A. (2010). Affective image classification using features inspired by psychology and art theory. In Proceedings of the international conference on multimedia, p. 83–92. New York, NY, USA.

Oliva A., Torralba A. (2001). Modeling the shape of the scene: A holistic representation of the spatial envelope. International Journal of Computer Vision, vol. 42, p. 145-175.

Ou L.-C., Luo M. R., Woodcock A., Wright A. (2004a). A study of colour emotion and colour preference. part i: Colour emotions for single colours. Color Research & Application, vol. 29, no 3, p. 232-240.

Ou L.-C., Luo M. R., Woodcock A., Wright A. (2004b). A study of colour emotion and colour preference. part iii: Colour preference modeling. Color Research & Application, vol. 29, no 5, p. 381–389.

Paleari M., Huet B. (2008). Toward emotion indexing of multimedia excerpts. In Proceedings on Content-Based Multimedia Indexing, International Workshop, p. 425-432.

Rigoulot S. (2008). Impact comportemental et électrophysiologique de l’information émotionnelle en vision périphérique. Thèse, Université de Lille II - École Doctorale de BiologieSanté.

Sande K. E. A. van de, Gevers T., Snoek C. G. M. (2010). Evaluating color descriptors for object and scene recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no 9, p. 1582–1596.

Scherer K. R., Ekman P. (1984). Approaches to emotions (L. E. Associates, Ed.). Lavoisier.

Tayari I., Le Thanh N., Ben Amar C. (2009, Décembre). Modélisation des états émotionnels par un espace vectoriel multidimensionnel. Rapport technique. Laboratoire Informatique, Signaux et Systèmes de Sophia-Antipolis.

Todorov A., Oosterhof N. N. (2009). Shared perceptual basis of emotional expressions and trustworthiness impressions from faces. Emotion, vol. 9, no 1, p. 128-133.

Tomkims S. S. (1962). Affect imagery consciousness : Volume 1: The positive affects. Springer Publishing Company.

Wang W.-N., Yu Y.-L. (2005). Image emotional semantic query based on color semantic description. In The fourth International Conference on Machine Learning and Cybernectics, vol. 7, p. 4571-4576.

Wei K., He B., Zhang T., He W. (2008). Image emotional classification based on color semantic description. In C. Tang, C. Ling, X. Zhou, N. Cercone, X. Li (Eds.), Advanced Data Mining and Applications, vol. 5139, p. 485-491. Springer Berlin/Heidelberg.