Information Fusion and Adaptation for On-Line Text Recognition. Fusion d'Informations et Adaptation pour la Reconnaissance de Textes Manuscrits Dynamiques

Information Fusion and Adaptation for On-Line Text Recognition

Fusion d'Informations et Adaptation pour la Reconnaissance de Textes Manuscrits Dynamiques

Loïc Oudot Lionel Prevost  Maurice Milgram 

Laboratoire des Instruments et Systèmes d'Ile de France, Groupe Perception,Automatique et Réseaux Connexionnistes BC 252, 4 Place Jussieu 75252 Paris Cedex 05

Page: 
239-248
|
Received: 
19 May 2004
| |
Accepted: 
N/A
| | Citation

OPEN ACCESS

Abstract: 

In this paper,we present a new writer independent system dedicated to the automatic recognition of on-line hand-printed texts.This system uses a very large French lexicon (200000 words),which covers numerous fields of application.The recognition process is based on the activation-verification model proposed in perceptive psychology. A set of experts encodes the input signal and extracts probabilistic information at several levels of abstraction (geometrical and morphological).A neural expert generates a tree of segmentation hypotheses.It is explored by a probabilistic fusion expert that uses all the available information (geometrical,morphological and lexical) in order to provide the best transcription of the input signal.We experiment several strategies of self-supervised writer-adaptation on this system.The best one,called “dynamic self-supervised adaptation”,modifies the recognizer parameters continuously.It gets recognition results close to supervised methods.These results are evaluated on a database of 90 texts (5400 words) written by 38 different writers and are very encouraging as they reach a recognition rate of 90%.

Résumé

Dans cet article nous présentons un nouveau système de reconnaissance de textes manuscrits scripts en mode omni-scripteur. Ce système utilise un lexique français de très grande taille (200 000 mots),qui couvre de nombreux champs d'application. Le processus de reconnaissance repose sur le modèle d'activationvérification proposé en psychologie perceptive. Un ensemble d'experts code le signal d'entrée et extrait des informations probabilistes à différents niveaux d'abstraction (géométrique,morphologique). Un expert de segmentation neuronal génère un treillis d’hypothèses qui est exploré par un expert de fusion probabiliste qui utilise toute l’information disponible (géométrique,morphologique et lexicale) afin de fournir la meilleure retranscription du signal d’entrée. Nous avons expérimenté plusieurs stratégies d'adaptation non supervisée au scripteur. La meilleure,appelée «adaptation non-supervisée dynamique» agit en continu sur les paramètres du système. Elle permet d'atteindre des performances proches de l’une adaptation supervisée. Les performances,évaluées sur une base de données comportant 90 textes (5400 mots) écrits par 38 utilisateurs différents,sont très encourageantes car elles atteignent un taux de reconnaissance de 90%.

Keywords: 

On-line handwriting,hand-printed recognition,automatic adaptation,information fusion,perceptive concept.

Mots clés 

Écriture dynamique,reconnaissance de l'écriture scripte,adaptation automatique,fusion d'informations, concepts perceptifs.

1. Introduction
2. État de l'Art
3. Système de Lecture
4. Adaptation par Modification des Paramètres de Classification
5. Conclusions et Perspectives
  References

[Baccino] T. BACCINO, P. COLE, La Lecture experte,Presse universitaire de France, 1995. 

[Brakensiek] A. BRAKENSIEK, A. KOSMALA, G. RIGOLL, «Comparing adaptation techniques for on-line handwriting recogntion», ICDAR, Vol. 1, 2001. 

[Caesar] T. CAESAR, J.M. GLOGER, E. MANDLER, «Preprocessing and Features Extraction for a Handriting recognition System», ICDAR, Vol. 1, 1993, p. 408–411. 

[Carbonnel] S. CARBONNEL, E. ANQUETIL, «Modélisation et intégration de connaissance lexicales pour le post-traitement de l'écriture manuscrite en-ligne», RFIA, Vol. 3, 2004, p. 1313–1322.

[Coltheart] M. COLTHEART, Lexical access in simple reading task, Underwood, Strategies of information processing, Academic Press, 1978. 

[Connel 00] S.D. CONNEL, «On-line Handwriting Recognition Using Multiple Pattern Class Models», PhD thesis, Departement of Computer science and enginnering, Michigan State University, 2000.

[Connel 02] S.D. CONNEL,A.K. JAIN, «Writer adaptation of online handwriting models», PAMI, Vol. 24, #3, 2002, p. 329–346. 

[Côté] M. COTE, «Utilisation d'un modèle d'accès lexical et de concepts perceptifs pour la reconnaissance d'images de mots cursifs, PhD thesis, ENST, 1997. 

[Gader] P.D. GADER, M. MOHAMED, J.-H. CHIANG, «Handwritten Word Recognition with Character and Inter-Character Neural Networks», IEEE Transaction on systems, Man and Cybernetics, Vol. 27, #1, 1997, p.158–164. 

[Guyon] I. GUYON, D. HENDERSON, P. ALBRECHT, Y.L. CUN, J. DENKER, Writer independent and writer adaptative neural network for on-line character recognition,From Pixel to Features III, Elsevier, 1992. 

[Henning] A. HENNING, N. SHERKAT, «Cursive script recognition using wildcards and multiple experts», Pattern Analysis & Applications, Vol. 4, 2001, p. 51–60. 

[Li] H. LI, «Traitement de la variabilité et développement de systèmes robustes pour la reconnaissance de l'écriture manuscrite en-ligne», PhD thesis, UPMC Paris VI, 2002. 

[Mati´c] N. MATIC I. GUYON, J. DENKER, V. VAPNIK, «Writer-adaptation for on-line handwritten character recognition», ICDAR, Vol. 1, 1993. 

[McClelland] J.L. MCCLELLAND, D.E. RUMELHART, «An interactive activation model of context effects in letter perception», Psychological Review, Vol. 88, 1981, p. 375–407. 

[Oudot] L. OUDOT, «Fusion d'informations et adaptation pour la reconnaissance de textes manuscrits dynamiques», PhD Thesis, Université Pierre & Marie Curie, 2003. 

[Paap] K. PAAP, S.L. NEWSOME, J.E. MCDONALD, R.W. SCHVANEVELDT, «An activation-verification model for letter and word recognition: The word superiority effect», Psychological Review, Vol. 89, 1982 p. 573–594. 

[Pasquer] L. PASQUER, «Conception d'un modèle d'interprétation multicontextuelle, application à la reconnaissance en-ligne d'écriture manuscrite», PhD thesis, Université Rennes I, 2000. 

[Plamondon] R. PLAMONDON, S.N. SRIHARI, «On-line and off-line handwriting recognition: A comprehensive survey», PAMI, Vol. 22, #1, 2000, p. 63–84. 

[Platt] J.C. PLATT, N.P. MATIC, «A constructive RBF network for writer adaptation», Advances in neural information procesing systems, Vol. 1, 1997, p. 765–771. 

[Powalka] R.K. POWALKA, N. SHERKAT, R.J. WHITROW, «Word shape analysis for a hybrid recognition system», Pattern Recognition, Vol. 30, #3, 1997, p. 421–445. 

[Prevost 98] L. PREVOST, «Reconnaissance de l'ecrit dynamique : Application à l'analyse des expressions mathématiques», PhD thesis, Université Paris VI, 1998. 

[Prevost 00] L. PREVOST, M. MILGRAM, «Modelizing character allographs in omni-scriptor frame: a new non-supervised algorithm», Pattern Recognition Letters, vol. 21, #4, 2000, p. 295–300.

[Schomaker] L. SCHOMAKER, E.H. HELSPER, H.-L. TEULINGS, G.H. ABBINK, «Adaptative recognition of online, cursive handwriting», ICOHD, Vol. 1, 1993. 

[Senior] A.W. SENIOR, A.J. ROBINSON, «An off-line cursive handwriting recogntion system», PAMI, Vol. 20, #3, 1998, p. 309-321. 

[Taft] M. TAFT, Reading and mental lexicon,Erlbaum Edition, 1991. [Vuori 99] V. Vuori, J. LAAKSONEN, E. OJA, «On-line adaptation in recognition of handwritten alphanumeric characters», ICDAR, Vol. 1, 1999, p. 792–795. 

[Vuori 02] V. VUORI, J. LAAKSONEN, J. KANGAS, «Influence of erroneous learning samples on adaptation in on-line handwriting recognition», Pattern Recognition, Vol. 35, #4, 2002, p. 915–926.