Handwriting-OOV word-recognition using web resources

Reconnaissance de mots manuscrits hors-vocabulaire en utilisant des ressources web

Cristina Oprean (1) , Chafic Mokbel (2) , Laurence Likforman-Sulem (1) , Adrian Popescu (3)

1 LTCI - Laboratoire Traitement et Communication de l'Information
2 UOB - University of Balamand [Liban]
3 LVIC - Laboratoire Vision et Ingénierie des Contenus

Handwriting recognition systems rely on predefined dictionaries. Small and static dictionaries are often exploited to obtain high in-vocabulary (IV) accuracy at the expense of coverage. Thus the recognition of out-of-vocabulary (OOV) words is not handled efficiently. To improve OOV recognition while keeping IV dictionaries small, we introduce a multi-step approach that exploits web resources. After an IV-OOV classification, Wikipedia is used to create OOV sequence-adapted dynamic dictionaries. A second decoding is done the dynamic dictionary to determine the most probable word for the OOV sequence. We validate our approach with experiments conducted on the RIMES dataset using a BLSTM recognizer. Results show that improvements are obtained compared to handwriting recognition with static dictionary.

Les systèmes de reconnaissance de l’écriture manuscrite s’appuient sur des dictionnaires prédéfinis obtenus à partir de corpus d’entraînement. La taille de ces dictionnaires résulte d’un compromis entre le taux de reconnaissance des mots du vocabulaire (DV) et leur couverture. Si la taille est petite, beaucoup de mots hors vocabulaire (HV) seront non reconnus. Pour améliorer la reconnaissance des mots HV, sans augmenter le dictionnaire statique, nous introduisons une étape supplémentaire qui exploite des ressources web. Après une classification des mots en DV-HV, Wikipédia est utilisée pour créer des dictionnaires dynamiques pour chaque mot HV. Un décodage final est effectué sur le dictionnaire dynamique afin de déterminer le mot le plus probable pour la séquence HV. Nous validons notre approche par des expériences menées avec un système de reconnaissance BLSTM sur la base RIMES. Les résultats montrent que des améliorations sont obtenues par rapport à la reconnaissance avec dictionnaire statique.

Mots clés: handwriting recognition; adapted dynamic dictionaries; Wikipedia; BLSTM

Domaines: Informatique [cs]; Informatique et langage [cs.CL]

Cristina Oprean, Chafic Mokbel, Laurence Likforman-Sulem, Adrian Popescu. Handwriting-OOV word-recognition using web resources. Document numérique - Revue des sciences et technologies de l'information. Série Document numérique, 2014, 17 (3), pp.77 - 96. ⟨10.3166/DN.17.3.77-96⟩. ⟨cea-01822860⟩