Better exploitation of BERT for few-shot event detection
Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples
Résumé
Recent approaches for event detection rely on deep supervised learning, which requires large manually annotated corpora. In the new approaches that are developed for few shot learning, we focus on meta-learning with a BERT encoder for the task. Specifically, we aim at optimizing the use of the information contained in the different layers of a pretrained BERT and show that simple strategies can be efficient and outperform the current state of the art for this task in English
Les méthodes actuelles pour la détection d'évènements, qui s'appuient essentiellement sur l'apprentissage supervisé profond, s'avèrent très coûteuses en données annotées. Parmi les approches pour l'apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l'utilisation de l'encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d'un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l'état de l'art pour cette tâche en anglais.
Domaines
Traitement du texte et du document
Origine : Fichiers produits par l'(les) auteur(s)
