20261118 Seminaire GR PAL Anna Mosolova

Séminaire
Improving Semi-Supervised Word Sense Induction with Pre-Trained Language Models

Date : 18 novembre 2026 | 10:00 > 12:00
Lieu : Nancy | Campus Lettres et Sciences Humaines | ATILF | Bâtiment CNRS | Salle Paul Imbs

Présenté par Anna Mosolova (AI Fellow at Université Paris Dauphine – PSL & INRIA Paris)

Organisation : Groupe de recherche PAL (Polysémie et ambiguïté lexicale) de l’ATILF (CNRS – Université de Lorraine)

Contact : sandrine.ollinger [at] atilf.fr

Télécharger l’affiche

Entrée libre

Ce séminaire s’adresse à celles et ceux intéressé·es par les questions d’induction de sens. La présentation se fera en français.

Improving Semi-Supervised Word Sense Induction with Pre-Trained Language Models

In this presentation, we discover how pre-trained language models (PLMs) from different generations deal with the task of distinguishing between different senses of a word without relying on sense-annotated corpora, a task known as Word Sense Induction. We explore a scenario in which a language lacks sense-annotated corpora but has an electronic lexicon that can guide the word sense clustering process. We show how this electronic lexicon can be used in two ways: (i) to provide sense usage examples for contrastive fine-tuning of PLMs, thereby improving their sense representations, and (ii) to guide the clustering process itself. We further demonstrate how the resulting system can be applied to the task of novel sense identification, which aims to detect new word senses in contemporary corpora, thus opening the way to direct downstream applications of the proposed method.

Amélioration de l’induction de sens semi-supervisée à l’aide de modèles de langue pré-entraînés

Dans cette présentation, nous découvrons comment des modèles de langue pré-entraînés (PLM) de différentes générations abordent la tâche consistant à distinguer les différents sens d’un mot sans recourir à des corpus annotés en sens, une tâche connue sous le nom d’induction de sens des mots (Word Sense Induction). Nous explorons un scénario dans lequel une langue ne dispose pas de corpus annotés en sens, mais possède un lexique électronique pouvant guider le processus de regroupement (clustering) des sens. Nous montrons comment ce lexique électronique peut être utilisé de deux manières : (i) fournir des exemples d’usage des sens pour le réglage fin contrastif des PLM, améliorant ainsi leurs représentations des sens, et (ii) guider le processus de clustering lui-même. Nous démontrons en outre comment le système obtenu peut être appliqué à la tâche d’identification de sens nouveaux, qui vise à détecter de nouveaux sens de mots dans des corpus contemporains, ouvrant ainsi la voie à des applications directes en aval de la méthode proposée.