🤖 Terrain, enquête, corpus

Corpus, fréquences, Zipf, collocations, annotation, modèles de langue, plongements, évaluation et éthique du traitement automatique des langues.

Ouvrir le cours interactifS'entraîner avec les QCM

Qu'est-ce qu'un corpus ? L3

Un corpus est un ensemble de productions langagières (textes, enregistrements) rassemblé selon des critères explicites pour servir à l'étude. Il est représentatif (de la variété étudiée), équilibré (genres, sources), de taille adaptée à la question, et documenté par des métadonnées (auteur, date, genre, locuteur). On distingue les corpus généraux (Frantext, Brown Corpus, British National Corpus) des corpus spécialisés (discours médical, juridique), écrits ou oraux (ESLO, CFPP2000, PFC), monolingues, parallèles (textes alignés avec leur traduction : Europarl) ou comparables.

La linguistique de corpus ne remplace pas l'intuition du linguiste : elle la complète en fournissant des fréquences et des attestations. Elle suppose des choix : unité de comptage (forme, lemme, séquence), nettoyage, tokenisation (découpage en mots : la ponctuation, les élisions « l'homme », les mots composés posent des difficultés), lemmatisation (ramener à la forme canonique : « mangeons » → manger) et étiquetage morphosyntaxique (POS tagging).

Les outils : concordanciers (AntConc, Sketch Engine, CQPweb, NoSketch Engine, TXM), langages de requête (CQL), environnements de programmation (Python avec NLTK, spaCy ; R). Les corpus de référence sont souvent accessibles via des plateformes comme Ortolang, Huma-Num ou le Corpus de référence du français contemporain.

Questions de méthode : les biais de collecte (corpus de presse, sur-représentation de certains genres), le droit d'auteur et les données personnelles (RGPD), la reproductibilité (publier le corpus ou la méthode de constitution). Un corpus constitue une « photographie » partielle d'un usage : il ne dit pas ce qui est possible, mais ce qui est attesté.

À retenir

Fréquences, loi de Zipf et richesse lexicale L3

Les mots d'un texte ont une distribution très inégale. La loi de Zipf (1935) stipule que la fréquence f d'un mot est approximativement inversement proportionnelle à son rang r : f(r) ≈ C / rα, avec α proche de 1. Le mot le plus fréquent apparaît environ deux fois plus que le deuxième, trois fois plus que le troisième. Sur un graphique logarithmique (log fréquence contre log rang), on obtient une droite de pente voisine de −1. En français, les mots les plus fréquents sont des mots grammaticaux (de, la, le, et, à, les, des).

Cette distribution a deux conséquences : une poignée de mots couvre une grande part des textes, et une longue traîne de mots rares, dont de nombreux hapax (mots n'apparaissant qu'une fois), couvre l'essentiel du vocabulaire. D'où le problème de la rareté des données en TAL. La loi de Heaps décrit la croissance du vocabulaire V en fonction de la longueur N du texte : V ≈ K · Nβ (β entre 0,4 et 0,6).

Pour mesurer la richesse lexicale : le TTR (types/tokens) est sensible à la taille de l'échantillon ; l'indice de Guiraud (V/√N), le TTR moyen sur segments (MATTR), l'indice MTLD ou le HD-D corrigent cette dépendance. On compare des textes d'auteurs, de genres ou d'âges différents.

La loi de Zipf apparaît pour de nombreux phénomènes (villes, revenus) ; en langue, son origine fait débat (principe du moindre effort de Zipf, processus de croissance préférentielle, effet purement statistique d'un texte aléatoire, selon les modèles). Elle reste un outil descriptif utile, mais n'est pas une explication.

À retenir

Concordances, collocations et mesures d'association L3

Le concordancier affiche un mot-pivot avec son contexte (KWIC : key word in context). Il révèle les usages : sens, constructions, collocations. Les collocations sont des combinaisons de mots qui apparaissent ensemble plus souvent que le hasard (« prendre une décision », « fort comme un Turc », « pluie battante »). Firth : « on connaît un mot à ses fréquentations ».

Pour les repérer, on calcule des mesures d'association à partir d'un tableau de contingence (cooccurrences de deux mots) : information mutuelle ponctuelle (PMI = log₂ [P(x,y) / (P(x)P(y))]), qui met en valeur des paires rares mais fortement associées ; t-score, plus sensible aux fréquences ; log-vraisemblance (G²) ; χ² ; Dice. Chaque mesure a un biais : la PMI surestime les paires rares, le t-score favorise les paires fréquentes.

Les n-grammes (séquences de n mots) sont à la base des modèles de langue statistiques : P(mot | n−1 mots précédents). Les segments répétés et phraséologismes (« à vrai dire », « en fait ») sont aujourd'hui repérés automatiquement. La colligation décrit la préférence d'un mot pour une catégorie grammaticale ; la préférence sémantique pour un champ ; la prosodie sémantique la tendance d'un mot à évoquer des connotations positives ou négatives (« causer » associé à des événements négatifs).

Applications : lexicographie (choix d'exemples), didactique (enseigner les collocations), stylistique, analyse de discours (spécificités lexicales, par exemple dans le discours politique).

À retenir

Annotation, évaluation et accord entre annotateurs L3

Beaucoup de tâches de TAL supposent des données annotées : catégories grammaticales, entités nommées (personnes, lieux), sens des mots, dépendances, sentiments, coréférence. L'annotation suit un guide détaillé, est réalisée par plusieurs annotateurs, et contrôlée par l'accord inter-annotateurs. Le simple pourcentage d'accord est trompeur (une partie de l'accord est due au hasard) : on utilise le kappa de Cohen (deux annotateurs) ou le kappa de Fleiss / alpha de Krippendorff (plus de deux, données manquantes).

Pour évaluer un système, on le compare à une référence (gold standard). Mesures : précision (parmi les éléments trouvés, proportion correcte), rappel (parmi les éléments à trouver, proportion trouvée), F1 (moyenne harmonique), exactitude (accuracy). Pour la traduction : BLEU, chrF, COMET (corrélation avec les jugements humains variable). Pour la génération, l'évaluation humaine reste centrale.

Bonnes pratiques : séparer les données en entraînement, validation, test ; ne jamais évaluer sur les données d'entraînement ; fournir des intervalles de confiance ; vérifier le biais de distribution (les résultats sur un corpus de presse ne valent pas pour des tweets) ; réaliser des analyses d'erreurs qualitatives. Le risque de fuite de données (data leakage) et de contamination (le jeu de test est apparu dans les données d'entraînement d'un grand modèle) fausse les évaluations.

Pour les campagnes d'évaluation, on cite SemEval, CoNLL, DEFT (en français) et des banques de tests comme GLUE/SuperGLUE ou FLUE. Ces jeux sont à manier avec prudence : une performance élevée ne garantit pas une généralisation.

À retenir

Des n-grammes aux modèles de langue neuronaux M

Un modèle de langue assigne une probabilité à une suite de mots ou prédit le mot suivant. Les modèles n-grammes estiment P(wₙ | w₁…wₙ₋₁) à partir de comptages, avec des techniques de lissage (Laplace, Kneser-Ney) pour les séquences non vues. Limites : contexte court, données rares.

Les plongements de mots (word2vec, GloVe) représentent chaque mot par un vecteur dense appris sur de grands corpus ; les mots de contextes semblables ont des vecteurs proches (hypothèse distributionnelle). Le schéma 3D en offre une version jouet. Les réseaux récurrents (LSTM) traitent des séquences, puis les transformers (Vaswani et al., 2017) utilisent des mécanismes d'attention qui pondèrent l'ensemble du contexte et se parallélisent efficacement. Les modèles de langue préentraînés (BERT, 2018 ; GPT) sont ensuite adaptés à des tâches (fine-tuning) ou sollicités par des instructions (prompting). Les grands modèles de langue (LLM) sont entraînés à prédire le mot suivant sur de vastes corpus, puis alignés sur des préférences humaines.

Que savent ces modèles du langage ? Des analyses de sondage (probing) montrent qu'ils encodent des informations morphologiques, syntaxiques et sémantiques ; ils réussissent des tests d'acceptabilité et de dépendances à longue distance, mais échouent parfois de façon surprenante (compositionnalité, négation, raisonnement). Leur fiabilité factuelle n'est pas assurée (« hallucinations »). Bender et Koller (2020) soutiennent qu'un modèle entraîné sur la seule forme ne peut accéder au sens comme tel ; le débat reste ouvert.

Pour la linguistique, ces modèles servent d'outils (annotation, traduction, recherche), de modèles à comparer aux humains (psycholinguistique computationnelle : surprisal et temps de lecture) et d'objets d'étude (quelles généralisations apprennent-ils ?). Leur usage soulève des questions d'éthique et de transparence.

À retenir

Éthique, biais et responsabilité en TAL M

Les systèmes de TAL ont un impact social. Les biais viennent des données (stéréotypes présents dans les corpus), des choix d'annotation et de conception. Des études ont montré des associations biaisées dans les plongements (genre et professions), des performances inégales selon les dialectes (anglais afro-américain en détection de toxicité) et selon les langues (les langues « peu dotées » sont moins bien traitées). Évaluer l'équité suppose de définir des critères (parité, égalité des erreurs) et de tester sur des sous-groupes.

Autres enjeux : vie privée (mémorisation de données personnelles, RGPD), droit d'auteur des données d'entraînement, désinformation et textes synthétiques, transparence (documentation : « data statements », « model cards »), empreinte environnementale de l'entraînement, conditions de travail des annotateurs. L'AI Act européen (2024) encadre les usages de l'intelligence artificielle selon le niveau de risque ; ses dispositions s'appliquent progressivement et doivent être consultées dans leur version officielle.

Principes pour le chercheur : documenter corpus et modèles, anonymiser quand c'est nécessaire, obtenir les consentements, auditer les biais, communiquer les limites des systèmes, préférer les ressources ouvertes. Pour l'enseignant et l'étudiant : savoir citer l'usage d'outils génératifs, vérifier leurs sorties, ne pas leur déléguer le jugement.

Plus largement, l'étude des rapports entre technologie et langage invite à penser la diversité linguistique : si les outils ne couvrent que les langues dominantes, ils renforcent les inégalités ; d'où l'intérêt de projets pour les langues peu dotées (corpus communautaires, Masakhane, Common Voice).

À retenir

Pratique : une chaîne de traitement minimale M

Une chaîne de traitement typique en linguistique de corpus : (1) collecter et documenter les textes ; (2) nettoyer et normaliser ; (3) tokeniser et segmenter en phrases ; (4) lemmatiser et étiqueter (spaCy, Stanza, UDPipe ; modèles pour le français) ; (5) interroger (concordances, fréquences) ; (6) visualiser et interpréter ; (7) documenter et archiver. Chaque étape doit être décrite pour être reproductible.

En Python, un script minimal compte les occurrences : il lit le texte, découpe en mots avec une expression régulière, met en minuscules, compte avec collections.Counter et affiche les plus fréquents. L'Atelier de corpus de ce site reproduit cette logique dans le navigateur (statistiques, bigrammes, concordancier, pente de Zipf).

Pour des analyses statistiques : tableaux de contingence et χ² (comparer des fréquences entre sous-corpus), log-vraisemblance (spécificités), régressions logistiques à effets mixtes (effets aléatoires pour locuteurs et items). Pour des représentations : nuages de mots (à utiliser avec prudence), graphes de cooccurrences, analyses factorielles (AFC), classification hiérarchique.

Hygiène de la recherche : versionner le code, fixer les graines aléatoires, conserver les versions des bibliothèques, publier données et code quand c'est possible (OSF, GitHub, Zenodo), citer les ressources utilisées. Les erreurs de segmentation, de lemmatisation et d'étiquetage ont un effet sur les résultats : vérifier un échantillon manuellement.

À retenir

Applications du TAL et enjeux pour le linguiste M

Les tâches courantes du TAL : traduction automatique, reconnaissance de la parole et synthèse vocale, résumé, extraction d'informations (entités nommées, relations), classification de textes (sentiments, thèmes, détection de spam), systèmes de questions-réponses et agents conversationnels, correction orthographique, recherche d'information, analyse syntaxique, désambiguïsation lexicale. Ces applications reposent sur des ressources linguistiques (lexiques, corpus annotés, ontologies) et sur l'expertise du linguiste pour définir des tâches, des schémas d'annotation et des évaluations pertinentes.

Les métiers : linguiste computationnel, ingénieur TAL, annotateur-linguiste, terminologue, lexicographe, conseiller en communication, orthophoniste (outils de rééducation), enseignant de langues, chercheur. Les masters de sciences du langage, de TAL (par exemple à Paris, Nancy, Grenoble, Toulouse) forment à ces carrières ; les débouchés exigent le plus souvent des compétences en programmation et en statistiques.

Le linguiste apporte au TAL : la modélisation fine des phénomènes (négation, aspect, anaphore), la critique de l'évaluation, la diversité typologique, la compréhension de la variation et des langues peu dotées. Réciproquement, le TAL offre à la linguistique des données massives et des modèles testables.

Une démarche solide : formuler une question linguistique claire, choisir le corpus adapté, expliciter les décisions d'annotation, évaluer honnêtement, interpréter en revenant aux faits de langue. Pas de technologie sans esprit critique ni de théorie sans confrontation aux données.

À retenir

Vocabulaire à retenir

Cinq questions pour t'entraîner

  1. Quand dit-on qu'un corpus est représentatif ?

    1. Quand il est toujours très grand, avec des millions de mots
    2. Quand il tient dans un seul fichier de texte facile à ouvrir
    3. Quand il est constitué selon des critères explicites
    4. Quand il remplace un dictionnaire pour les besoins de l'étude

    Réponse : Quand il est constitué selon des critères explicites. La représentativité n'est pas une question de taille : elle dépend de ce que l'on veut étudier (genres, époques, locuteurs) et des métadonnées qui le décrivent.

  2. Qu'est-ce que Frantext ?

    1. Un corpus de textes littéraires français
    2. Un corpus oral de conversations tenues à Paris
    3. Un moteur de traduction automatique de textes
    4. Un logiciel d'annotation de transcriptions

    Réponse : Un corpus de textes littéraires français. C'est une base de référence pour la langue écrite, notamment littéraire, du XVIᵉ siècle à aujourd'hui, avec des outils de recherche.

  3. Que contient un corpus parallèle ?

    1. Des données bruitées qu'il faut nettoyer d'abord
    2. Uniquement des textes oraux transcrits
    3. Des textes de genres différents dans la même langue
    4. Des textes alignés avec leur traduction

    Réponse : Des textes alignés avec leur traduction. Par exemple Europarl : les débats du Parlement européen, alignés phrase par phrase dans plusieurs langues, utilisés pour la traduction automatique.

  4. En quoi consiste la tokenisation ?

    1. Ramener chaque mot à sa forme de citation
    2. Découper le texte en unités, souvent des mots
    3. Repérer les noms de personnes et de lieux
    4. Traduire le texte dans une autre langue

    Réponse : Découper le texte en unités, souvent des mots. C'est la première étape du traitement : séparer « l'enfant » en « l' » et « enfant » dépend de choix à expliciter.

  5. Que fait la lemmatisation ?

    1. Elle coupe le texte en phrases séparées
    2. Elle ramène une forme fléchie à sa forme de citation
    3. Elle associe à chaque mot un sens précis
    4. Elle représente chaque mot par un vecteur de nombres

    Réponse : Elle ramène une forme fléchie à sa forme de citation. Mangeons, mangeait, mangé renvoient tous au lemme manger : on compte ainsi les occurrences d'un même lexème.

Faire le QCM complet (31 questions) Réviser les 38 fiches

Autres cours