📊 Méthodes quantitatives et expérimentales

Hypothèses, plans expérimentaux, statistiques descriptives et inférentielles, modèles mixtes, puissance, reproductibilité et éthique.

Ouvrir le cours interactifS'entraîner avec les QCM

Démarche scientifique et plans expérimentaux M

Une étude quantitative en sciences du langage part d'une question de recherche traduite en hypothèse falsifiable : « les mots fréquents sont reconnus plus vite que les mots rares ». On distingue l'hypothèse nulle H₀ (pas d'effet) et l'hypothèse alternative H₁. On définit des variables : indépendante (manipulée : fréquence du mot), dépendante (mesurée : temps de réaction), de contrôle (longueur, âge) et confondantes (non contrôlées, pouvant biaiser).

Plans : inter-sujets (chaque participant dans une seule condition) ou intra-sujets (chaque participant dans toutes les conditions : plus de puissance, effets d'ordre à contrôler par contrebalancement et carré latin). Les items (mots, phrases) doivent être appariés sur les facteurs non manipulés, en nombre suffisant. Il faut randomiser l'ordre, ajouter des distracteurs (items de remplissage) et prévoir des essais d'entraînement.

Les niveaux de mesure : nominale (catégories), ordinale (rangs), d'intervalle et de rapport (échelles numériques). Les tâches typiques : jugement d'acceptabilité, décision lexicale, temps de lecture auto-rythmée, suivi du regard, EEG, production élicitée. La validité interne (l'effet est-il dû à la manipulation ?) et la validité externe (généralisation) sont deux critères.

Préparer l'étude : calcul de puissance, pré-enregistrement (hypothèses, plan, analyses prévues), étude pilote, comité d'éthique. Un plan clair évite des analyses opportunistes (« p-hacking »).

À retenir

Statistiques descriptives et distributions M

Avant toute inférence, on décrit les données. Tendance centrale : moyenne, médiane, mode. Dispersion : variance, écart-type, étendue, écart interquartile. La moyenne est sensible aux valeurs extrêmes ; la médiane est robuste. Les temps de réaction ont une distribution asymétrique à droite : on les transforme souvent (logarithme) ou on utilise des modèles adaptés.

Distribution normale : symétrique en cloche, définie par sa moyenne μ et son écart-type σ ; environ 68 % des valeurs dans μ ± 1σ, 95 % dans μ ± 1,96σ. Le score z : z = (x − μ)/σ. Le théorème central limite : la moyenne d'échantillons tend vers une loi normale quand n augmente, ce qui justifie nombre de tests. Les distributions de fréquence linguistiques (Zipf) sont très asymétriques : les tests classiques s'appliquent mal aux comptages bruts.

Visualisation : histogrammes, diagrammes en boîte, nuages de points, diagrammes en violon ; éviter les graphiques en barres sans dispersion. Représenter les données brutes (points individuels) en plus des moyennes améliore la transparence. Les valeurs aberrantes se traitent selon des critères prédéfinis (par exemple temps de réaction inférieurs à 200 ms ou supérieurs à 3 écarts-types) sans les supprimer au gré de l'analyse.

Les proportions (taux d'erreurs, choix de variante) relèvent de la loi binomiale ; leur intervalle de confiance se calcule par exemple par la formule de Wilson. Pour de petits effectifs, les intervalles « de Wald » (approximation normale) sont peu fiables. Les mesures répétées d'un même locuteur ne sont pas indépendantes, ce qui impose de tenir compte du locuteur dans l'analyse.

À retenir

Inférence : intervalles de confiance et tests M

L'inférence statistique généralise de l'échantillon à la population. L'intervalle de confiance à 95 % d'une moyenne vaut approximativement x̄ ± t × s/√n ; si l'on répétait l'étude de nombreuses fois, environ 95 % des intervalles construits contiendraient la vraie valeur (l'interprétation « 95 % de chances que la vraie valeur soit dans cet intervalle » est une simplification). Un test d'hypothèse calcule une statistique et une valeur p : la probabilité, si H₀ est vraie, d'observer un résultat aussi extrême. On rejette H₀ si p est inférieur à un seuil α (souvent 0,05). Une valeur p n'est pas la probabilité que H₀ soit vraie, ni la taille ou l'importance d'un effet.

Tests usuels : test t de Student pour comparer deux moyennes (indépendantes, appariées ; version de Welch si variances inégales), ANOVA pour plus de deux groupes (rapport F), χ² pour des fréquences de catégories, test exact de Fisher pour de petits effectifs, tests non paramétriques (Mann-Whitney, Wilcoxon, Kruskal-Wallis) quand les conditions ne sont pas remplies, corrélation (Pearson, Spearman). Les erreurs : type I (faux positif, probabilité α), type II (faux négatif, probabilité β). La puissance = 1 − β.

Les comparaisons multiples augmentent le risque de faux positifs : on corrige (Bonferroni, Holm, Benjamini-Hochberg pour le FDR). En neuroimagerie et en corpus avec de nombreux tests, c'est essentiel.

Les statistiques bayésiennes (facteurs de Bayes, distributions a posteriori) offrent une alternative qui quantifie le soutien aux hypothèses, y compris en faveur de H₀. Quel que soit le cadre, la transparence (code, données, choix) prime.

À retenir

Régression et modèles à effets mixtes M

La régression linéaire modélise une variable dépendante comme une combinaison de prédicteurs : y = β₀ + β₁x₁ + … + ε. Les coefficients mesurent l'effet attendu d'un changement d'unité du prédicteur, les autres étant constants. La régression logistique traite des variables binaires (choix d'une variante : on vs nous) par la probabilité transformée en log-odds. Les interactions (le prédicteur A agit différemment selon B) s'ajoutent comme termes produits.

Les données linguistiques ont une structure hiérarchique : des participants répondent à des items ; chaque participant et chaque item contribuent à plusieurs observations. Les ignorer viole l'indépendance (pseudoréplication) et augmente le risque de faux positifs (Clark, 1973, « the language-as-fixed-effect fallacy »). Les modèles à effets mixtes (Baayen, Davidson et Bates, 2008) incluent des effets fixes (les variables d'intérêt) et des effets aléatoires (ordonnée et pentes aléatoires par participant et par item). Barr et al. (2013) recommandent une structure d'effets aléatoires « maximale » justifiée par le plan, quitte à la simplifier en cas de non-convergence.

En pratique, avec R : packages lme4 (fonctions lmer, glmer), lmerTest pour les p-values, emmeans pour les comparaisons, ggplot2 pour les graphiques. On vérifie les résidus (normalité, homogénéité), la colinéarité et l'ajustement. On rapporte les coefficients avec leurs intervalles de confiance.

Autres modèles : GAMMs (modèles additifs généralisés mixtes) pour les trajectoires temporelles (f0, formants, EEG, regard), analyse de survie (durées), modèles bayésiens (brms), analyses factorielles et de classification pour les corpus.

À retenir

Taille d'effet, puissance et réplication M

Un résultat « significatif » peut être minuscule (échantillon énorme) ; un résultat « non significatif » peut cacher un effet réel (échantillon trop petit). On rapporte donc une taille d'effet : d de Cohen pour deux moyennes (différence divisée par l'écart-type poolé : repères conventionnels 0,2 faible, 0,5 moyen, 0,8 fort, à relativiser selon le domaine), r ou R² pour les corrélations et régressions, η² pour l'ANOVA, odds ratio pour des variables binaires.

La puissance statistique (probabilité de détecter un effet réel) dépend de la taille d'effet, du nombre de participants et d'items, de α et de la variabilité. Un seuil usuel est 80 %. Pour deux groupes indépendants, l'effectif par groupe est approximativement n = 2 × ((z₁₋α/₂ + z₁₋β) / d)² ; avec α = 0,05 et puissance 0,80, n ≈ 16 / d². Pour d = 0,5, il faut environ 64 participants par groupe ; pour d = 0,2, environ 400. En psycholinguistique, les plans intra-sujets avec nombreux items offrent plus de puissance.

La crise de la réplication (années 2010) a montré qu'une partie importante des résultats publiés ne se répliquent pas (projet de réplication en psychologie, 2015). Causes : petits échantillons, flexibilité d'analyse (p-hacking), biais de publication, hypothèses formulées après coup (HARKing). Remèdes : pré-enregistrement, rapports enregistrés, partage de données et de code, répliques directes, méta-analyses.

Pour les chercheurs en linguistique, cela implique de documenter le choix du nombre d'items et de locuteurs, de justifier la taille d'effet attendue (littérature, étude pilote), et de communiquer honnêtement les analyses exploratoires.

À retenir

Reproductibilité, science ouverte et éthique M

Une analyse est reproductible si un tiers, avec les mêmes données et le même code, retrouve les mêmes résultats ; elle est réplicable si une nouvelle étude arrive aux mêmes conclusions. Bonnes pratiques : travailler dans des scripts (R, Python) plutôt que dans des tableurs manuels ; utiliser un contrôle de version (Git) ; fixer les graines aléatoires ; consigner les versions des packages ; conserver un README et un journal ; déposer données et code dans un dépôt (OSF, Zenodo, Ortolang, Dataverse) avec une licence ; suivre les principes FAIR (faciles à trouver, accessibles, interopérables, réutilisables).

L'éthique impose : un consentement éclairé ; la minimisation des données ; la protection des personnes vulnérables (enfants, patients) ; l'anonymisation (les voix et les contextes peuvent identifier) ; un plan de gestion des données (PGD) ; l'avis d'un comité d'éthique selon les institutions ; le respect du RGPD. Les corpus de réseaux sociaux soulèvent des questions de contexte (données publiques mais non destinées à l'analyse). En terrain avec des communautés minoritaires, la recherche est collaborative et respecte leurs protocoles.

L'intégrité scientifique : ne pas fabriquer, falsifier ni plagier ; déclarer les conflits d'intérêts ; citer les sources ; attribuer les contributions (taxonomie CRediT). Les outils génératifs sont utilisables sous réserve de transparence et de vérification ; l'auteur reste responsable.

La communication des résultats : rapporter tailles d'effet et intervalles de confiance, expliciter les limites, distinguer analyses confirmatoires et exploratoires, éviter les formulations causales injustifiées. Un mémoire de master et une thèse sont l'occasion de documenter la méthode au niveau de détail qui permet la réplication.

À retenir

Lire un résultat statistique pas à pas L2

Un article de psycholinguistique ou de sociolinguistique rapporte souvent : « Les temps de réponse pour les mots fréquents (M = 612 ms, ET = 80) sont plus courts que pour les mots rares (M = 668 ms, ET = 85), t(38) = 2,4, p = 0,02, d = 0,7. » Apprenez à le décoder. M est la moyenne, ET l'écart-type (dispersion). t(38) est la valeur du test avec 38 degrés de liberté. p est la probabilité d'obtenir une différence au moins aussi grande si l'hypothèse nulle (« pas de différence ») était vraie. Ici p = 0,02, inférieur au seuil usuel de 0,05 : on dit que la différence est statistiquement significative.

Mais p n'est pas la probabilité que l'hypothèse soit vraie, et il ne mesure pas l'importance de l'effet. La taille d'effet (d de Cohen) quantifie l'écart en unités d'écart-type : 0,2 est petit, 0,5 moyen, 0,8 grand (repères de Cohen, à nuancer selon les domaines). Ici d = 0,7 : effet moyen à grand. L'intervalle de confiance à 95 % donne une fourchette plausible pour la différence : plus il est étroit, plus l'estimation est précise.

Choisir le bon test : comparaison de deux moyennes de groupes indépendants → test t de Student (ou Welch) ; mesures répétées → t apparié ; plus de deux groupes → analyse de variance (ANOVA) ; deux variables catégorielles → khi-deux ; relation entre deux variables continues → corrélation de Pearson (ou de Spearman si les données sont ordinales). En linguistique, on préfère aujourd'hui les modèles mixtes avec effets aléatoires de participants et d'items.

Bonnes pratiques : formuler l'hypothèse avant de collecter les données, rapporter les tailles d'effet, ne pas tester dix variables pour garder celle qui sort, partager les données et le code.

À retenir

Vocabulaire à retenir

Cinq questions pour t'entraîner

  1. Une hypothèse scientifique doit être…

    1. Vraie
    2. Évidente
    3. Falsifiable
    4. Longue

    Réponse : Falsifiable. On doit pouvoir imaginer des données qui la contredisent.

  2. La variable indépendante est…

    1. Manipulée par le chercheur
    2. Mesurée comme résultat
    3. Toujours qualitative
    4. Un contrôle

    Réponse : Manipulée par le chercheur. La dépendante est mesurée.

  3. Une variable confondante est…

    1. Un item de remplissage
    2. Une variable de contrôle
    3. Une variable dépendante
    4. Non contrôlée et susceptible de biaiser

    Réponse : Non contrôlée et susceptible de biaiser. Elle menace la validité interne.

  4. Un plan intra-sujets…

    1. Divise les participants en groupes
    2. Soumet chaque participant à toutes les conditions
    3. Teste un seul participant
    4. N'a pas d'effet d'ordre

    Réponse : Soumet chaque participant à toutes les conditions. Plus de puissance, effets d'ordre à contrôler.

  5. Le contrebalancement sert à…

    1. Augmenter la taille d'effet
    2. Contrôler les effets d'ordre
    3. Supprimer les items
    4. Supprimer le hasard

    Réponse : Contrôler les effets d'ordre. Carré latin.

Faire le QCM complet (31 questions) Réviser les 36 fiches

Autres cours