Better exploitation of BERT for few-shot event detection - Archive ouverte HAL Access content directly
Conference Papers Year : 2022

Better exploitation of BERT for few-shot event detection

Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples

(1) , (1) , (1) , (1)
1

Abstract

Recent approaches for event detection rely on deep supervised learning, which requires large manually annotated corpora. In the new approaches that are developed for few shot learning, we focus on meta-learning with a BERT encoder for the task. Specifically, we aim at optimizing the use of the information contained in the different layers of a pretrained BERT and show that simple strategies can be efficient and outperform the current state of the art for this task in English
Les méthodes actuelles pour la détection d'évènements, qui s'appuient essentiellement sur l'apprentissage supervisé profond, s'avèrent très coûteuses en données annotées. Parmi les approches pour l'apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l'utilisation de l'encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d'un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l'état de l'art pour cette tâche en anglais.
Fichier principal
Vignette du fichier
2022.jeptalnrecital-taln.39.pdf (1.37 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

cea-03920247 , version 1 (03-01-2023)

Licence

Attribution - CC BY 4.0

Identifiers

  • HAL Id : cea-03920247 , version 1

Cite

Aboubacar Tuo, Romaric Besancon, Olivier Ferret, Julien Tourille. Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples. TALN 2022 - 29e Conférence sur le Traitement Automatique des Langues Naturelles, Jun 2022, Avignon, France. pp.392-402. ⟨cea-03920247⟩
0 View
0 Download

Share

Gmail Facebook Twitter LinkedIn More