Comment effectuer des comparaisons par paires post-hoc dans R

Dans le paysage contemporain des sciences comportementales et de la psychologie quantitative, la rigueur méthodologique constitue le rempart fondamental contre les crises de reproductibilité. L’analyse de variance à un facteur, communément désignée sous le vocable d’ANOVA unidirectionnelle (one-way ANOVA), représente l’une des pierres angulaires de l’expérimentation empirique. Qu’il s’agisse d’évaluer l’efficacité différentielle d’interventions psychothérapeutiques, de scruter les impacts de stimuli cognitifs variés ou d’étudier les modulations affectives induites par des contextes psychosociaux, les chercheurs sont fréquemment amenés à comparer simultanément plus de deux conditions expérimentales. Cependant, l’aboutissement d’une telle modélisation globale ne marque bien souvent que le point de départ d’une investigation inférentielle plus complexe, nécessitant de disséquer précisément les foyers d’hétérogénéité entre les groupes.

Lorsqu’un modèle linéaire généralisé indique un effet principal significatif, il confronte le chercheur à une aporie statistique : le test global confirme qu’au moins deux modalités se distinguent, mais demeure structurellement muet quant aux paires précises à l’origine de cette divergence. C’est ici qu’interviennent les comparaisons multiples a posteriori, universellement appelées tests post-hoc. La mise en œuvre de ces procédures au sein du logiciel statistique et environnement de programmation R nécessite une compréhension fine des mécanismes sous-jacents, allant du contrôle du taux d’erreur par famille à l’estimation des tailles d’effet standardisées. Cet environnement offre une flexibilité sans égale, mais requiert une maîtrise rigoureuse de ses packages statistiques pour éviter les écueils inférentiels.

Le présent article propose un guide exhaustif et avancé dédié à l’exécution, à l’interprétation et à la restitution graphique et académique des comparaisons par paires post-hoc dans R. En s’appuyant sur des bases conceptuelles solides, nous explorerons les fondements mathématiques de ces tests, les procédures classiques et contemporaines d’ajustement, les approches robustes face à la violation des postulats paramétriques, ainsi que l’art de concevoir des représentations visuelles adaptées aux exigences des publications scientifiques internationales selon les standards de l’American Psychological Association.

1. Fondements théoriques de l’ANOVA unidirectionnelle en psychologie

1.1 Principe général et formulation des hypothèses statistiques

L’analyse de variance unidirectionnelle est une méthode inférentielle paramétrique dont l’objectif premier est de déterminer si les moyennes d’une variable quantitative observée au sein de trois populations indépendantes ou davantage présentent une divergence statistiquement significative. Sur le plan formel, la démarche repose sur la confrontation systématique de deux énoncés contradictoires. L’hypothèse nulle, notée H₀, postule l’égalité stricte des espérances mathématiques entre toutes les populations étudiées, soit H₀ : μ₁ = μ₂ = … = μ_k, où k représente le nombre total de modalités du facteur expérimental. Cette hypothèse formalise l’absence d’effet du traitement ou de la condition expérimentale sur la réponse psychologique mesurée.

À l’opposé, l’hypothèse alternative, notée H₁ ou H_A, ne stipule nullement que l’ensemble des moyennes diffèrent mutuellement de manière homogène. Elle postule plus modestement l’existence d’au moins une paire d’indices (j, j’) telle que μ_j ≠ μ_j’. Cette formulation asymétrique est essentielle pour saisir la dynamique du test. En recherche comportementale, cette architecture s’applique généralement à des devis où la variable indépendante est un facteur catégoriel polytomique — par exemple, l’assignation aléatoire à un groupe contrôle, à une thérapie cognitivo-comportementale classique ou à une thérapie d’acceptation et d’engagement — tandis que la variable dépendante est continue, telle qu’un score sur l’inventaire de dépression de Beck ou un temps de réaction en millisecondes.

La décomposition algébrique fondamentale opérée par l’ANOVA partitionne la variabilité totale des scores individuels en deux sources mutuellement exclusives : la somme des carrés intergroupes (qui reflète l’effet potentiel du facteur manipulé augmenté des fluctuations d’échantillonnage) et la somme des carrés intragroupes ou résiduelle (qui capture l’erreur pure, c’est-à-dire les variations idiosyncrasiques et les bruits de mesure non imputables au traitement expérimental). Cette partition constitue le socle sur lequel repose toute la logique du modèle linéaire général.

1.2 La problématique du test F omnibus

Le cœur décisionnel de l’ANOVA réside dans le calcul de la statistique F de Fisher-Snedecor, issue du ratio entre le carré moyen intergroupe et le carré moyen résiduel (ou intragroupe). Sous la véracité de l’hypothèse nulle, ce ratio suit asymptotiquement une distribution F avec (k – 1) degrés de liberté au numérateur et (N – k) degrés de liberté au dénominateur, où N désigne la taille totale de l’échantillon réuni. Lorsque les variations entre les moyennes de groupe outrepassent significativement celles attendues sous l’effet du seul hasard d’échantillonnage, la valeur observée de F croît, réduisant corrélativement la valeur p associée. Si cette valeur p passe sous le seuil critique conventionnel α = 0,05, le chercheur rejette l’hypothèse nulle.

Néanmoins, la nature même de ce test est qualifiée d’« omnibus » — terme latin signifiant « pour tout » ou « pour tous ». Cette qualification dénote son caractère global et synthétique. Un test F omnibus significatif apporte la preuve probabiliste robuste que le modèle prédictif intégrant le facteur expérimental explique une part non négligeable de la variance des données par rapport à un modèle réduit ne comportant que la constante générale. Pourtant, cette statistique condense une matrice pluridimensionnelle de divergences en un unique scalaire unidimensionnel.

Par conséquent, le test F souffre d’une incapacité structurelle : il ne fournit aucun renseignement topologique sur la structure interne des différences de moyennes. Il est rigoureusement impossible, à la seule lecture de la table d’ANOVA globale, de savoir si toutes les conditions expérimentales diffèrent les unes des autres, si un unique groupe marginal se détache nettement d’un bloc par ailleurs homogène, ou si seules les conditions extrêmes présentent un écart statistiquement fiable. Conclure à une supériorité d’un traitement sur un autre sur la simple foi d’un test F omnibus positif relève d’une erreur d’inférence majeure.

1.3 Nécessité méthodologique des analyses complémentaires

Face au mutisme topologique du test omnibus, le chercheur en sciences psychologiques se trouve contraint de déployer des analyses secondaires destinées à disséquer les contrastes locaux. Deux grandes orientations épistémologiques et statistiques se dessinent alors : la démarche confirmatoire par contrastes planifiés a priori et l’investigation exploratoire ou semi-exploratoire par tests post-hoc a posteriori. Les contrastes planifiés sont élaborés en amont de la collecte des données, rigoureusement dictés par un cadre théorique hypothético-déductif précis, et sont généralement limités en nombre afin de maximiser la puissance statistique tout en préservant l’orthogonalité des comparaisons.

Toutefois, la réalité de l’investigation psychologique ne permet pas toujours de formuler des hypothèses prédictives ciblées pour chacune des combinaisons de modalités possibles, en particulier lors de l’évaluation de protocoles d’intervention innovants, d’études pharmacologiques exploratoires ou d’analyses de profils cognitifs multigroupes. Dans ce contexte, l’application de tests post-hoc devient une nécessité méthodologique incontournable. Ces outils permettent d’examiner exhaustivement toutes les paires possibles de modalités après avoir pris connaissance des données, tout en garantissant un contrôle rigoureux des risques inférentiels.

La transition conceptuelle entre le test global et l’analyse post-hoc exige un changement d’échelle inférentielle : on abandonne le niveau macroscopique du facteur pour aborder l’échelle microscopique des dyades de conditions. Ce passage soulève immédiatement une complication mathématique redoutable relative à la multiplication des inférences simultanées, laquelle peut rapidement fausser les conclusions si elle n’est pas corrigée par des algorithmes appropriés.

2. Le problème des comparaisons multiples et l’inflation du risque d’erreur

2.1 Mécanisme de l’inflation de l’erreur de type I

L’inférence statistique classique dans le cadre neyman-pearsonien s’articule autour de la maîtrise de l’erreur de première espèce, notée α, qui correspond à la probabilité de rejeter indûment l’hypothèse nulle alors qu’elle est en réalité vraie au sein de la population parente (faux positif). Par convention séculaire, ce risque nominal est fixé à 5 % (α = 0,05) pour un test unique isolé. Or, dès lors qu’un chercheur entreprend d’exécuter une série de comparaisons sur un même jeu de données, la probabilité de commettre au moins une erreur de type I ne reste pas cantonnée à ce seuil nominal unitaire ; elle s’accroît de manière exponentielle avec la démultiplication des tests.

Ce phénomène d’inflation porte le nom technique d’accroissement du taux d’erreur par famille de comparaisons, désigné en anglais sous l’acronyme FWER (Family-Wise Error Rate). Considérons une expérience comprenant k groupes distincts. Le nombre total de comparaisons deux à deux possibles est donné par la formule combinatoire du coefficient binomial C(k, 2) = k(k – 1) / 2. Pour une conception expérimentale comprenant 3 groupes, 3 paires s’offrent à l’analyse ; mais pour 5 groupes, ce nombre grimpe à 10, et atteint 21 comparaisons distinctes pour 7 groupes.

Si l’on postule l’indépendance statistique des tests — hypothèse simplificatrice bien qu’approximative dans les faits —, la probabilité de ne commettre aucune erreur de type I sur l’ensemble de m comparaisons indépendantes sous l’hypothèse nulle conjointe s’élève à (1 – α)^m. Par complémentarité, la probabilité d’observer au moins un faux positif au sein de la famille de tests s’exprime formellement par la relation :

α_FWER = 1 – (1 – α)^m

Ainsi, pour k = 5 groupes impliquant m = 10 comparaisons indépendantes à α = 0,05, le risque cumulé réel devient 1 – (0,95)¹⁰ ≈ 0,4013. Le chercheur a donc plus de 40 % de chances de clamer l’existence d’une différence statistiquement significative totalement factice. En psychologie, où les pressions de publication sont fortes, ignorer ce mécanisme revient à alimenter massivement le répertoire de découvertes fallacieuses et non reproductibles, jetant le discrédit sur l’édifice scientifique.

2.2 Inadéquation des tests t de Student itératifs

Face à ce constat, une pratique naïve consisterait à exécuter des séries de tests t de Student pour échantillons indépendants sur chaque dyade de groupes en conservant le seuil alpha nominal de 0,05 sans aucun ajustement. Cette approche, bien que tentante par sa simplicité algorithmique, constitue une faute méthodologique rédhibitoire pour deux motifs cardinaux interconnectés : l’explosion incontrôlée du FWER et la dégradation de l’estimation de la variance de référence.

En premier lieu, comme exposé précédemment, l’itération non pondérée des tests t détruit l’intégrité probabiliste de l’analyse, rendant les rejets de H₀ presque inévitables dès que le nombre de groupes croît. En second lieu, un test t standard appliqué isolément à un sous-ensemble de deux groupes utilise uniquement les informations de dispersion issues de ces deux échantillons spécifiques pour quantifier l’erreur standard de la différence des moyennes. Ce procédé ignore délibérément l’information résiduelle accumulée sur l’ensemble des k groupes au sein de l’ANOVA globale.

Le modèle linéaire unifié de l’analyse de variance permet pourtant d’extraire le carré moyen résiduel (MS_error ou variance résiduelle conjointe), lequel constitue un estimateur sans biais beaucoup plus précis et doté d’un plus grand nombre de degrés de liberté (N – k) de la variance intra-groupe commune. Recourir à des tests t partiels disjoints conduit à sous-exploiter la précision globale de l’échantillon, à accroître la variance d’échantillonnage de l’erreur type et à augmenter la vulnérabilité de l’inférence aux fluctuations aléatoires propres aux sous-échantillons restreints.

2.3 Compromis fondamental entre rigueur et puissance statistique

Afin de juguler l’inflation pernicieuse du FWER, les statisticiens ont développé une panoplie de procédures d’ajustement. Cependant, l’application de ces corrections ne se fait pas sans contrepartie : elle introduit une tension dialectique permanente entre le contrôle de l’erreur de type I (α) et le contrôle de l’erreur de type II (β), cette dernière correspondant à l’incapacité de détecter une divergence réelle existant dans la population (faux négatif).

La puissance statistique, quantifiée par le complémentaire 1 – β, dépend étroitement du seuil alpha retenu, de la taille d’effet sous-jacente et des effectifs échantillonnés. Lorsque l’on abaisse drastiquement le seuil alpha effectif attribué à chaque comparaison — comme le font certaines corrections très rigides —, on durcit les critères nécessaires pour franchir la frontière de la significativité. Dès lors, la probabilité de commettre des erreurs de type II monte en flèche, particulièrement dans les protocoles de psychologie expérimentale souvent caractérisés par des tailles d’échantillons modestes en raison de contraintes logistiques sévères.

Le choix d’une procédure post-hoc ne se résume donc jamais à une simple décision technique machinale. Il s’agit d’un arbitrage épistémologique mesuré : privilégie-t-on une doctrine hautement conservatrice visant à immuniser l’étude contre les faux positifs à tout prix, ou opte-t-on pour un équilibre pragmatique préservant une puissance suffisante pour déceler des effets psychologiques subtils mais théoriquement cruciaux ? Ce dilemme gouverne l’ensemble des méthodologies développées ci-après.

3. Préparation des données expérimentales et vérification des postulats dans R

3.1 Structuration du jeu de données sous R

L’exactitude d’un pipeline d’analyse sous l’environnement R dépend intimement de l’adéquation structurelle des structures de données (data frames ou tibbles). Pour illustrer concrètement notre propos, imaginons une étude empirique en psychologie cognitive examinant l’impact de quatre stratégies pédagogiques d’apprentissage sur les scores de rétention mémorielle à long terme (mesurés sur une échelle standardisée de 0 à 100). Les quatre conditions expérimentales sont : la relecture passive (Contrôle), la pratique de récupération espacée (Retrieval), l’élaboration sémantique (Elaboration), et une approche combinatoire associant imagerie mentale et rappel actif (DualCoding).

Dans l’écosystème R, la variable indépendante doit être explicitement encodée sous la forme d’un vecteur de type factor, tandis que la variable dépendante doit être stockée sous forme numérique continue. Un problème courant survient lorsque les identifiants de groupe sont importés sous forme de chaînes de caractères (character) ou d’entiers numériques (1, 2, 3, 4) sans conversion explicite. R pourrait alors traiter la variable comme un régresseur continu dans certaines fonctions de modélisation, dénaturant totalement l’architecture de l’ANOVA.

La commande canonique pour configurer adéquatement la variable indépendante s’écrit sous la forme :

donnees$Methode <- factor(donnees$Methode, levels = c("Controle", "Retrieval", "Elaboration", "DualCoding"))

Une inspection préliminaire rigoureuse nécessite de vérifier l’équilibre des effectifs par cellule via la fonction table(donnees$Methode), ainsi que l’extraction des paramètres de tendance centrale et de dispersion par modalité à l’aide de la fonction tapply() ou des verbes du package dplyr (notamment group_by() combiné avec summarise() calculant la moyenne arithmétique et l’écart-type empirique).

3.2 Évaluation de la normalité distributionnelle des résidus

L’ANOVA paramétrique et la quasi-totalité des tests post-hoc dérivés reposent sur le postulat que les perturbations aléatoires ou résidus du modèle suivent une distribution gaussienne de moyenne nulle et de variance constante au sein de chaque strate définie par la variable indépendante. Il importe de souligner avec insistance une méprise classique : le postulat de normalité ne concerne pas la variable dépendante agrégée dans sa globalité brute, mais spécifiquement les résidus conditionnels du modèle linéaire.

Dans R, l’évaluation de cette hypothèse commence par l’ajustement du modèle global via la fonction aov() ou lm(), suivi de l’extraction des résidus à l’aide de la fonction residuals(). La validation formelle repose alors sur la combinaison de tests d’inférence dédiés et de méthodes d’inspection graphique. L’application du test de normalité univarié de Shapiro-Wilk s’effectue simplement :

shapiro.test(residuals(modele_anova))

Une valeur p supérieure au seuil usuel de 0,05 suggère que l’on ne peut rejeter l’hypothèse de normalité distributionnelle. Toutefois, dans les grands échantillons, le test de Shapiro-Wilk devient excessivement sensible à des déviations triviales sans impact pratique, tandis que dans les petits échantillons, il manque singulièrement de puissance. C’est pourquoi l’analyse visuelle via un diagramme quantile-quantile (Q-Q plot) — généré dans R de base par plot(modele_anova, which = 2) ou via la fonction qqPlot() du package spécialisé car — demeure l’étalon-or pour jauger la convergence des quantiles empiriques avec les quantiles théoriques d’une loi normale.

3.3 Contrôle de l’homoscédasticité des variances

Le second postulat critique — et sans doute le plus déterminant pour la validité des tests post-hoc usuels — est l’homogénéité des variances ou homoscédasticité. Cette condition exige que la variance populationnelle de l’erreur soit identique à travers l’ensemble des k niveaux du facteur étudié, soit σ₁² = σ₂² = … = σ_k². La rupture de cette assise théorique porte le nom d’hétéroscédasticité et a pour effet pervers d’invalider le terme de variance d’erreur commune utilisé au dénominateur des statistiques de contraste, faussant dramatiquement les taux d’erreur réels.

Pour soumettre ce postulat à l’épreuve des faits empiriques, l’analyste dispose de plusieurs démarches sous R. Le test de Bartlett, appelé via la commande bartlett.test(Score ~ Methode, data = donnees), est historiquement très utilisé mais s’avère notoirement hyper-sensible à la moindre entorse à la normalité des données. Pour cette raison, la littérature en méthodologie psychologique préconise sans réserve le test de Levene ou sa variante robuste dite de Brown-Forsythe, qui substitue la médiane à la moyenne pour le calcul des déviations individuelles.

Dans l’écosystème R, ce test de référence est mis à disposition par la bibliothèque car à travers la fonction suivante :

car::leveneTest(Score ~ Methode, data = donnees, center = median)

Si la valeur p résultante est strictement inférieure à 0,05, l’homoscédasticité est formellement rejetée. Une telle issue impose d’écarter catégoriquement les procédures post-hoc standards (comme le test classique de Tukey ou de Bonferroni poolé) au profit d’alternatives spécifiquement armées pour compenser l’inégalité des variances et l’asymétrie structurelle des effectifs.

4. Exécution de l’ANOVA omnibus sous R

4.1 Modélisation statistique avec la fonction aov()

L’implémentation opérationnelle de l’analyse de variance à un facteur dans R s’articule prioritairement autour de deux fonctions fondamentales : aov() et lm(). Bien qu’elles reposent rigoureusement sur le même moteur computationnel fondé sur la méthode des moindres carrés ordinaires (MCO), leur typologie d’objet de retour et leurs méthodes associées présentent des nuances ergonomiques substantielles. La fonction aov() est spécifiquement conçue comme un wrapper autour de lm() pour produire des tables conformes à la tradition de décomposition de variance initiée par Sir Ronald Fisher.

La syntaxe de base s’établit selon le formalisme des formules symboliques de R :

modele_anova <- aov(Score ~ Methode, data = donnees)

Dans cette structure, le terme situé à gauche du tilde symbolise la variable de réponse métrique continue, tandis que l’opérande droit désigne la variable de classification catégorielle. Il est essentiel d’assigner l’évaluation de cette fonction à un objet dans l’espace de travail global afin de pouvoir le soumettre ultérieurement à des méthodes génériques d’inspection ou à des modules complémentaires dédiés aux contrastes par paires. Bien que lm() soit largement préféré pour les modélisations de régression impliquant des prédicteurs continus ou des contrastes codés sur-mesure, aov() demeure le standard optimal pour dialoguer nativement avec les fonctions d’analyse post-hoc du socle de base de R.

4.2 Interprétation de la table d’analyse de variance

L’extraction synoptique des résultats du modèle s’opère par l’intermédiaire de l’appel canonique à la fonction summary(modele_anova). La sortie console qui en découle restitue de manière structurée la table d’ANOVA conventionnelle, segmentée en colonnes : degrés de liberté (Df), sommes des carrés (Sum Sq), carrés moyens (Mean Sq), valeur de la statistique F de Fisher (F value) et probabilité critique asymptotique (Pr(>F)).

L’analyse démarre par la vérification des degrés de liberté : k – 1 pour l’effet factoriel et N – k pour l’estimation de l’erreur résiduelle. Le carré moyen correspond au quotient exact de la somme des carrés par son degré de liberté respectif. La valeur de F représente le rapport Mean Sq(Facteur) / Mean Sq(Residuals). Si la p-valeur associée est substantiellement inférieure au seuil alpha fixé (typiquement α = 0,05), l’analyste conclut au rejet de l’hypothèse nulle d’invariance globale des moyennes.

Pour parachever l’interprétation selon les standards contemporains de la science ouverte, le chercheur ne saurait se contenter d’un simple test de signification statistique d’hypothèse nulle (NHST) ; il lui incombe d’estimer la magnitude pratique de l’effet. L’êta-carré (η²), défini par le rapport de la somme des carrés de l’effet sur la somme des carrés totale, quantifie la proportion brute de variance expliquée :

η² = SS_effet / SS_totale

Cependant, en raison de son biais positif dans les petits échantillons, la métrique de l’oméga-carré (ω²) est souvent préférée. L’extraction aisée de ces grandeurs peut être réalisée sous R au moyen de packages d’analyse d’effet tels que effectsize via la commande explicite effectsize::eta_squared(modele_anova, partial = FALSE).

4.3 Validation de la décision de poursuite post-hoc

Une question épistémologique cruciale anime les débats méthodologiques : la conduite de tests post-hoc requiert-elle impérativement la significativité préalable du test F omnibus ? La réponse conventionnelle, profondément ancrée dans l’orthodoxie académique, affirme que le rejet de l’hypothèse nulle globale au seuil α ≤ 0,05 constitue la condition sine qua non pour autoriser l’exploration des comparaisons par paires. Cette approche conditionnelle séquentielle, formalisée par Fisher sous le nom de méthode de la plus petite différence significative protégée (Fisher’s Protected LSD), visait historiquement à ériger le test omnibus en filtre global contre l’erreur de première espèce.

Cependant, les développements mathématiques de John Tukey et d’autres théoriciens modernes ont démontré que certaines procédures post-hoc — au premier rang desquelles figure le test HSD de Tukey — intègrent intrinsèquement le contrôle du FWER pour l’ensemble des comparaisons deux à deux, rendant l’étape du filtre préalable mathématiquement superflue. Il existe en effet des configurations statistiques marginales où le test F omnibus échoue à atteindre le seuil de 0,05 (par exemple, p = 0,062), alors qu’un contraste ciblé entre deux modalités diamétralement opposées présente une divergence majeure qui resterait pleinement significative même après correction stricte du taux d’erreur par famille.

Dans la pratique courante en psychologie quantitative, s’abstraire d’un test F non significatif pour se précipiter sur les tests post-hoc suscite fréquemment la suspicion des évaluateurs de revues à comité de lecture, qui y perçoivent un risque de « dragage de données » (p-hacking). Il est donc vivement recommandé d’arrimer scrupuleusement la stratégie analytique aux hypothèses documentées en amont : si le cadre est strictement exploratoire, l’alignement formel sur un F significatif demeure la règle institutionnelle prédominante.

5. La méthode de Tukey (Tukey’s HSD) dans R

5.1 Cadre théorique de la statistique de l’étendue studentisée

Conçue par le prolifique statisticien John Tukey, la méthode HSD (pour Honestly Significant Difference) figure incontestablement parmi les procédures post-hoc les plus répandues et les plus élégantes de l’arsenal inférentiel paramétrique. Contrairement aux approches basées sur la distribution t classique, le test de Tukey exploite les propriétés formelles de la loi de l’étendue studentisée, traditionnellement désignée par la variable aléatoire q.

La statistique q quantifie l’écart absolu maximal existant entre les moyennes observées d’un ensemble de groupes indépendants, rapporté à l’estimation standardisée de la variabilité résiduelle intra-groupe pondérée par la taille d’échantillon. Mathématiquement, pour comparer deux moyennes spécifiques μ_i et μ_j, la valeur q calculée s’énonce selon la relation :

q = |Ȳ_i – Ȳ_j| / √(MS_erreur / n)

dans laquelle MS_erreur représente le carré moyen résiduel issu de l’ANOVA globale, et n figure le nombre d’observations par groupe (dans le cas d’un schéma factoriel parfaitement équilibré). Le principe génial de Tukey consiste à calibrer le seuil critique non pas sur l’écart moyen attendu entre deux groupes quelconques pris isolément, mais sur la distribution de l’écart extrême (l’étendue) susceptible de survenir spontanément au sein d’une famille de k moyennes issues de populations théoriquement identiques.

Ce procédé assure un contrôle exact et rigoureux du FWER au niveau nominal α fixé pour la totalité des combinaisons par paires envisageables, sans infliger le fardeau d’un conservatisme excessif. Les postulats stricts requis pour la pleine validité de ce test incluent l’indépendance mutuelle des observations, la normalité des résidus au sein de chaque groupe, l’homogénéité des variances (homoscédasticité) et, idéalement, l’égalité parfaite des effectifs d’échantillonnage entre les différentes conditions.

5.2 Mise en œuvre algorithmique avec TukeyHSD()

L’environnement R standard implémente cette méthode de façon native à travers la fonction TukeyHSD(). Cette routine algorithmique prend pour argument d’entrée direct l’objet généré préalablement par la fonction aov(). Il convient de souligner que TukeyHSD() ne fonctionne pas directement sur un modèle ajusté par la fonction lm(), ce qui justifie techniquement l’usage préférentiel de aov() pour l’ANOVA standard.

L’exécution de la procédure s’effectue simplement par la ligne d’instruction suivante :

resultats_tukey <- TukeyHSD(modele_anova, "Methode", conf.level = 0.95)

Lorsque le design expérimental présente un déséquilibre modéré d’effectifs entre les groupes (schéma non orthogonal non équilibré), la fonction TukeyHSD() de R applique automatiquement l’adaptation algorithmique de Tukey-Kramer. Cette extension substitue à l’effectif unique n la moyenne harmonique des tailles des deux groupes considérés au sein de chaque comparaison spécifique, calculée par la formule :

ñ = 2 / ((1 / n_i) + (1 / n_j))

L’affichage de l’objet résultant via print(resultats_tukey) restitue une matrice détaillée pour chaque contraste binaire. Pour chaque paire (par exemple, Retrieval – Controle), R fournit la différence estimée entre les moyennes empiriques (colonne diff), la borne inférieure de l’intervalle de confiance ajusté (colonne lwr), la borne supérieure correspondante (colonne upr) et la probabilité critique asymptotique corrigée (colonne p adj). Si l’intervalle de confiance à 95 % n’englobe pas la valeur zéro et que la p-valeur ajustée est strictement inférieure à 0,05, la divergence entre les deux modalités d’apprentissage est déclarée statistiquement significative au sens de Tukey.

5.3 Représentation graphique intégrée

L’un des atouts indéniables de l’implémentation de Tukey au sein du moteur de base de R réside dans sa capacité de transcription visuelle immédiate via la méthode générique plot(). L’appel de cette instruction produit un diagramme synthétisant l’ensemble des intervalles de confiance simultanés :

plot(resultats_tukey, las = 1, col = "steelblue")

L’argument las = 1 force l’orientation horizontale des étiquettes des axes typographiques, garantissant une lisibilité optimale de la nomenclature textuelle des contrastes (tels que DualCoding-Retrieval). Ce graphique projette une ligne verticale discontinue matérialisant l’axe de nullité parfaite (différence nulle égale à zéro). Chaque comparaison est représentée par un segment horizontal figurant l’étendue de l’intervalle de confiance estimé pour la différence de moyenne, centré sur un point matérialisant l’estimation ponctuelle.

La règle de décision visuelle est limpide : tout segment d’intervalle qui traverse ou croise la ligne pointillée du zéro indique une absence formelle de différence statistiquement discernable entre les deux modalités au seuil de confiance sélectionné. Inversement, tout segment situé intégralement à droite ou à gauche de cette démarcation signale une disparité significative. Cette approche visuelle offre une saisie intuitive immédiate de la hiérarchie des effets et s’avère hautement pédagogique lors de la phase préliminaire d’exploration des résultats.

6. La méthode de Scheffé pour les comparaisons par paires et contrastes complexes

6.1 Propriétés mathématiques et champ d’application

Développée par Henry Scheffé, la procédure d’ajustement qui porte son nom s’inscrit dans un paradigme mathématique d’une généralité remarquable. Alors que la technique de Tukey est rigoureusement cantonnée à l’évaluation des comparaisons binaires simples (portant sur des paires μ_i – μ_j), la méthode de Scheffé a été conçue pour préserver le contrôle absolu du FWER sur l’ensemble infini des contrastes linéaires envisageables au sein du modèle expérimental.

Un contraste linéaire général s’exprime sous la forme L = ∑ c_j μ_j, sous la contrainte structurelle que la somme des coefficients pondérateurs soit rigoureusement nulle (∑ c_j = 0). Cela autorise non seulement le test des contrastes dyadiques simples, mais également des contrastes complexes hautement élaborés — par exemple, comparer la moyenne combinée des deux méthodes innovantes (Retrieval et DualCoding) à celle des deux méthodes traditionnelles (Controle et Elaboration), ce qui se traduirait par un jeu de pondérations c = (-0,5, +0,5, -0,5, +0,5).

Pour autoriser une telle flexibilité sans risquer de faux positifs, la méthode de Scheffé majore le seuil critique en ajustant directement la valeur F de référence. La valeur critique d’un contraste selon Scheffé s’obtient en multipliant la valeur critique usuelle de la distribution de Fisher F_{(k – 1, N – k)} par le nombre de degrés de liberté factoriels (k – 1). Cette propriété protectrice absolue fait de Scheffé la procédure la plus polyvalente de l’analyse de variance, tout en garantissant qu’aucune divergence ne pourra jamais être déclarée significative si le test omnibus préalable n’était pas lui-même significatif.

6.2 Implémentation sous R avec DescTools

Contrairement au test HSD de Tukey, le test de Scheffé ne figure pas dans le noyau standard de base de R sous forme d’une fonction analytique prête à l’emploi pour les comparaisons par paires. Sa mise en œuvre s’effectue de manière standardisée par le biais de la bibliothèque scientifique externe spécialisée DescTools, qui enrichit l’environnement d’outils descriptifs et inférentiels avancés.

Après installation et chargement de la bibliothèque, l’exécution s’opère sur l’objet de type aov :

DescTools::ScheffeTest(modele_anova, which = "Methode", conf.level = 0.95)

L’algorithme restitue un tableau de synthèse rigoureux exposant la différence moyenne estimée, les bornes de confiance élargies de Scheffé, et la valeur p hautement corrigée. Si l’on compare minutieusement les sorties obtenues avec celles de TukeyHSD() sur le même jeu de données expérimental, une observation constante se dégage : les intervalles de confiance générés par la méthode de Scheffé sont systématiquement plus larges, et les p-valeurs significativement plus élevées.

Cette divergence empirique illustre parfaitement le coût mathématique inhérent à la polyvalence théorique de la méthode : en s’armant pour résister à l’inflation de l’erreur sur un univers infini de combinaisons linéaires potentielles, Scheffé pénalise lourdement l’évaluation des comparaisons dyadiques élémentaires.

6.3 Interprétation contextuelle en psychologie quantitative

Dans l’écosystème de la recherche comportementale, cette pénalisation statistique excessive entraîne un risque élevé d’erreur de type II (β). Dans des échantillons de taille modérée — fréquents en neurosciences cognitives, psychologie clinique ou expérimentations de laboratoire —, l’utilisation de Scheffé pour tester de simples différences deux à deux conduit bien souvent à l’incapacité de rejeter H₀ pour des effets pourtant substantiels et théoriquement décisifs.

Par conséquent, les règles décisionnelles de la psychologie quantitative sont particulièrement explicites quant à l’usage de cette procédure. Le recours à Scheffé est formellement déconseillé lorsque la visée analytique se restreint à la seule confrontation exhaustive des paires de moyennes ; dans cette configuration fermée, la statistique de l’étendue studentisée de Tukey surpasse systématiquement Scheffé en termes de puissance d’inférence.

En revanche, l’emploi de Scheffé trouve sa pleine justification épistémologique et éthique dans les protocoles exploratoires post-hoc où le chercheur, découvrant la configuration singulière de ses données empiriques après coup, décide d’investiguer des regroupements inédits et des moyennes de moyennes non postulées lors du protocole initial. Dans cette situation précise de « data-dredging » exploratoire contrôlé, Scheffé offre la seule garantie mathématique reconnue pour prémunir le chercheur contre les illusions statistiques.

7. La méthode d’ajustement de Bonferroni

7.1 Principe mathématique de la correction univariée

Fondée sur l’inégalité de Boole-Fréchet relative à la théorie des probabilités conjointes, la méthode d’ajustement de Bonferroni représente l’approche correctrice la plus universellement répandue et conceptuellement la plus intuitive de la modélisation statistique. Le théorème fondamental sous-jacent stipule que pour une famille finie de m événements probabilistes, la probabilité de l’union de ces événements est toujours inférieure ou égale à la somme arithmétique de leurs probabilités individuelles discrètes :

P(∪_i=1…m A_i) ≤ ∑_i=1…m P(A_i)

En transposant cette vérité axiomatique au problème des comparaisons multiples, Carlo Emilio Bonferroni a établi qu’en calibrant le niveau de signification de chaque test individuel sur un seuil critique drastiquement réduit α* = α / m, le FWER global de l’expérience est garanti de ne jamais excéder le seuil nominal α :

α_FWER ≤ m × (α / m) = α

De façon strictement équivalente dans la pratique algorithmique contemporaine sous R, plutôt que de fractionner le seuil alpha de référence, les logiciels multiplient directement la valeur p brute issue du test unitaire par le nombre total de comparaisons planifiées ou exécutées (p_ajustée = min(1, m × p_brute)).

La force primordiale de Bonferroni réside dans son indépendance totale vis-à-vis de la structure de covariance ou de dépendance des tests. Contrairement aux approches paramétriques intégrées, la correction de Bonferroni s’applique avec une indifférence mathématique parfaite à des tests t, des régressions, des corrélations bivariées ou des procédures non paramétriques. Cette universalité s’accompagne toutefois d’une rigidité proportionnelle à l’augmentation combinatoire de m.

7.2 Exécution avec la fonction pairwise.t.test()

Dans l’architecture native de R, la formulation des comparaisons multiples sous contrainte bonferronienne ne sollicite pas directement l’objet aov, mais mobilise la commande vectorielle pairwise.t.test(). Cette routine exécute séquentiellement l’ensemble des combinaisons par paires entre les niveaux de la variable indicatrice tout en ajustant automatiquement la distribution de probabilité matricielle.

Le paramétrage classique s’articule comme suit :

pairwise.t.test(x = donnees$Score, g = donnees$Methode, p.adjust.method = "bonferroni", pool.sd = TRUE)

L’argument central pool.sd = TRUE revêt une importance méthodologique fondamentale. Il enjoint à la fonction d’utiliser la variance résiduelle conjointe (le carré moyen résiduel issu de l’ensemble de l’échantillon) pour estimer l’erreur-type de la différence des moyennes, plutôt que de dériver un écart-type restreint et instable à partir des deux seuls sous-groupes examinés. Cela confère au test une robustesse accrue et des degrés de liberté optimaux.

La sortie console produite par R prend la forme élégante d’une matrice triangulaire inférieure recensant les p-valeurs ajustées associées à chaque intersection dyadique. Les valeurs présentées sont directement comparables au seuil conventionnel de 0,05 : toute p-valeur matricielle inférieure à ce seuil témoigne d’un rejet direct de l’hypothèse nulle d’égalité pour la paire correspondante, la correction mathématique ayant déjà été intégrée dans la grandeur affichée.

7.3 Critique méthodologique du conservatisme de Bonferroni

En dépit de sa limpidité conceptuelle et de sa popularité historique inébranlable dans la littérature médicale et psychologique, la correction standard de Bonferroni fait l’objet de critiques méthodologiques dévastatrices de la part des statisticiens contemporains lorsqu’elle est appliquée aveuglément à des jeux de comparaisons post-hoc exhaustifs.

Le reproche fondamental réside dans son ultraconservatisme paralysant. L’inégalité de Boole constitue une borne supérieure stricte : elle n’est exacte que si l’ensemble des événements — c’est-à-dire l’ensemble des contrastes par paires — sont mutuellement exclusifs, ce qui ne se produit rigoureusement jamais dans une matrice de comparaisons statistiques. Au contraire, les comparaisons multiples partagent une colinéarité et une interdépendance structurelle étroite (si la moyenne A est supérieure à la moyenne B, et que B est supérieure à C, l’écart entre A et C est nécessairement dépendant des deux premiers).

En négligeant délibérément ces corrélations intrinsèques, la méthode de Bonferroni sur-corrige dramatiquement le risque de type I, pénalisant violemment la puissance statistique globale du dispositif. Pour un protocole comportant 6 groupes d’investigation (soit m = 15 comparaisons), le seuil critique unitaire tombe à 0,05 / 15 ≈ 0,0033. Une telle sévérité exige des amplitudes d’effet massives pour franchir l’épreuve de la significativité, refoulant au rang d’artefacts non significatifs de véritables découvertes scientifiques.

Les recommandations actuelles de l’American Psychological Association ainsi que les éditeurs de revues d’évaluation quantitative préconisent désormais de restreindre l’usage de Bonferroni à des contextes spécifiques : l’analyse d’un nombre très contingent de contrastes orthogonaux préalablement documentés (typiquement 2 à 4 contrastes planifiés), en proscrivant formellement son emploi brut pour le crible exploratoire intégral de matrices de corrélations ou d’ANOVA multipolaires.

8. La méthode séquentielle de Holm-Bonferroni

8.1 Algorithme descendant pas-à-pas (Step-Down)

Pour contourner les ravages causés par le conservatisme excessif de Bonferroni sans pour autant sacrifier d’un iota la protection infaillible du FWER au sens fort, le statisticien suédois Sture Holm a développé en 1979 une modification algorithmique séquentielle d’une rare ingéniosité : la méthode de Holm-Bonferroni (ou procédure pas-à-pas descendante, step-down).

Le fonctionnement mécanique de cet algorithme repose sur une hiérarchisation probabiliste dynamique. Soit un ensemble de m comparaisons univariées associées à des probabilités d’erreur brutes non ajustées notées p₁, p₂, …, p_m. La première opération algorithmique consiste à ordonner ces p-valeurs brutes dans l’ordre croissant strict, de la plus faible (la plus statistiquement évidente) à la plus forte :

p₍₁₎ ≤ p₍₂₎ ≤ … ≤ p_(m)

Chaque valeur ordonnée est ensuite soumise séquentiellement à un critère de significativité ajusté dynamiquement en fonction de son rang de progression i (avec i allant de 1 à m). La règle de décision s’établit formellement comme suit :

• Pour le rang initial i = 1, la valeur p₍₁₎ est comparée au seuil le plus sévère : α / m. Si p₍₁₎ ≥ α / m, la procédure s’interrompt instantanément et aucune hypothèse nulle n’est rejetée. En revanche, si p₍₁₎ < α / m, la comparaison est déclarée formellement significative, et l’algorithme progresse au palier suivant.
• Pour le rang i = 2, la valeur p₍₂₎ est testée face à un seuil légèrement relaxé : α / (m – 1). Si la condition est satisfaite, le test est déclaré significatif et la progression se poursuit.
• De manière générale, à l’étape i, la p-valeur brute p_(i) est confrontée au seuil adaptatif α / (m – i + 1). Dès qu’une valeur échoue au test, l’évaluation stoppe immédiatement et l’ensemble des hypothèses restantes sont déclarées non significatives.

Sur le plan mathématique fondamental, il a été rigoureusement démontré que la procédure de Holm-Bonferroni domine de manière uniforme et stricte la correction classique de Bonferroni : elle maintient le FWER rigoureusement sous le plafond nominal α dans toutes les configurations possibles, tout en conférant à chaque étape ultérieure une puissance statistique substantiellement supérieure.

8.2 Application computationnelle dans R

L’accessibilité logicielle de la méthode séquentielle de Holm sous R est exemplaire : elle est configurée comme la méthode d’ajustement par défaut au sein de multiples routines, illustrant la reconnaissance unanime de ses mérites par la communauté des concepteurs du langage.

Son appel direct s’exécute avec la fonction pairwise.t.test() en spécifiant explicitement l’argument dédié :

pairwise.t.test(x = donnees$Score, g = donnees$Methode, p.adjust.method = "holm", pool.sd = TRUE)

R réalise de manière transparente l’ensemble des opérations séquentielles : tri sous-jacent des p-valeurs, pondération descendante itérative, et réapplication d’une contrainte de monotonicité (en veillant à ce qu’une p-valeur ajustée d’un rang supérieur ne devienne jamais numériquement inférieure à celle du rang précédant, assurant la cohérence inférentielle). Les valeurs affichées au sein de la matrice triangulaire résultante sont directement les p-valeurs corrigées finales.

Si l’on procède à une analyse comparative côte à côte des matrices générées respectivement par l’option "bonferroni" et l’option "holm" sur un même jeu de données, la différence saute aux yeux : la première p-valeur ordonnée est rigoureusement identique dans les deux approches (puisqu’elle subit une division par m), mais toutes les p-valeurs suivantes sont systématiquement plus petites avec la correction de Holm. Cette divergence offre une marge de manœuvre substantielle pour valider des hypothèses qui auraient été étouffées par Bonferroni.

8.3 Avantages de la méthode de Holm en psychologie expérimentale

Pour le chercheur en sciences du comportement, l’adoption systématique de la correction de Holm-Bonferroni en remplacement de Bonferroni classique constitue l’un des gains méthodologiques les plus simples et les plus bénéfiques qui soient. En effet, il n’existe littéralement aucune justification rationnelle ou computationnelle au maintien de la méthode de Bonferroni non séquentielle dans la recherche contemporaine, tant la dominance de Holm est absolue sur le plan théorique.

En psychologie expérimentale, où les amplitudes des effets peuvent être atténuées par le bruit intrinsèque aux instruments psychométriques ou par la variabilité interindividuelle, le regain de puissance conféré par l’algorithme descendant se traduit concrètement par une diminution nette des faux négatifs (erreurs de type II). Le chercheur maximise ainsi le rendement statistique de collectes de données souvent onéreuses et temporellement exigeantes.

De surcroît, la méthode de Holm jouit d’une réputation de robustesse méthodologique irréprochable auprès des revues académiques de premier plan. Elle signale un haut niveau d’expertise quantitative et témoigne d’un contrôle intransigeant du taux de faux positifs sans sombrer dans l’inhibition analytique. Elle doit être considérée aujourd’hui comme le standard par excellence pour tout ajustement post-hoc séquentiel univarié.

9. Modélisation avancée avec le package emmeans

9.1 Introduction aux moyennes marginales estimées (Estimated Marginal Means)

Bien que les fonctions historiques du système de base de R suffisent amplement à la résolution de designs unidirectionnels basiques et équilibrés, l’architecture expérimentale réelle en psychologie s’articule fréquemment autour de modèles plus élaborés : ANOVA factorielles à plans croisés, modèles mixtes avec mesures répétées, ou modèles de covariance (ANCOVA) ajustant sur un trait psychologique continu. Face à cette complexité, les approches post-hoc classiques révèlent de graves limites structurelles.

C’est ici que s’impose l’écosystème contemporain structuré autour du package d’excellence emmeans (successeur modernisé de l’ancien module lsmeans), acronymie signifiant Estimated Marginal Means (moyennes marginales estimées ou moyennes des moindres carrés). Contrairement aux moyennes arithmétiques brutes calculées directement sur les observations de surface, les moyennes marginales estimées correspondent aux prédictions directes du modèle statistique théorique ajusté pour chaque niveau d’un facteur, en fixant les autres covariables ou facteurs à des valeurs fixes de référence équilibrées.

Dans les schémas non équilibrés — où les effectifs par cellule sont inégaux en raison d’attritions d’échantillonnage fréquentes chez les participants —, les moyennes descriptives directes sont confondues par la structure asymétrique du plan d’expérience. Le framework emmeans neutralise ce biais de composition en modélisant une référence théorique où chaque cellule recevrait un poids strictement égal, garantissant ainsi que les comparaisons post-hoc reflètent l’effet intrinsèque des traitements étudiés sans contamination par le déséquilibre de l’échantillon.

9.2 Calcul et extraction des contrastes par paires

L’implémentation pratique des contrastes par paires sous emmeans brille par sa logique déclarative et sa puissance analytique. Après avoir modélisé l’expérience au moyen des fonctions lm() ou aov(), le chercheur invoque la fonction pivot emmeans() en spécifiant la formule de contraste souhaitée :

library(emmeans)
modele_general <- lm(Score ~ Methode, data = donnees)
emm_methode <- emmeans(modele_general, pairwise ~ Methode, adjust = "tukey")

Cette commande exécute simultanément deux opérations statistiques fondamentales réunies au sein d’une même structure de retour :

• Elle dérive le tableau matriciel des moyennes marginales estimées pour chaque niveau du facteur expérimental, assorti de leurs erreurs-types respectives, de leurs degrés de liberté et de leurs intervalles de confiance ponctuels.
• Elle calcule l’exhaustivité de la grille des contrastes dyadiques au moyen du sous-objet $contrasts. L’argument adjust = "tukey" force l’application d’un ajustement précis basé sur l’étendue studentisée adapté au modèle linéaire sous-jacent.

L’utilisateur dispose d’une flexibilité paramétrique absolue : il suffit de substituer l’argument par adjust = "bonferroni", adjust = "holm", adjust = "scheffe", ou encore adjust = "none" pour reconfigurer instantanément l’ensemble des inférences sans réécrire le code expérimental. Les sorties affichent explicitement le contraste estimé, l’erreur-type composite (SE), le nombre effectif de degrés de liberté (df), la statistique empirique de test (t.ratio), ainsi que la valeur critique hautement réajustée (p.value).

9.3 Visualisation et calcul des tailles d’effet associées

L’un des apports méthodologiques les plus décisifs de l’infrastructure logicielle emmeans réside dans son interfaçage direct avec les concepts modernes de taille d’effet standardisée. Dans le sillage des directives de l’American Psychological Association, stipuler qu’une différence est « statistiquement significative » ne suffit plus : il est impératif d’en caractériser la magnitude pratique au moyen d’indices d’échelle invariante, au premier rang desquels figure le d de Cohen.

Pour dériver les tailles d’effet des comparaisons par paires directement calibrées sur la variance résiduelle du modèle global, emmeans propose la fonction dédiée eff_size() :

eff_size(emm_methode, sigma = sigma(modele_general), edf = df.residual(modele_general))

Cette instruction extrait avec une exactitude mathématique exemplaire le d de Cohen standardisé pour chaque paire, en exploitant l’écart-type résiduel global (σ) et les degrés de liberté résiduels réels. Cette méthode surpasse qualitativement les calculs artisanaux de tailles d’effet qui utilisent les écarts-types restreints des seuls deux groupes comparés.

Sur le versant graphique, le package s’intègre nativement à la philosophie de visualisation de données de R via la méthode plot.emmGrid. En exécutant simplement plot(emm_methode$emmeans, comparisons = TRUE), R génère un diagramme élégant matérialisant simultanément les intervalles de confiance à 95 % sous forme de bandes pleines et les flèches d’inférence de divergence (comparison arrows). Si les flèches rouges de deux groupes ne se chevauchent pas horizontalement, les moyennes correspondantes diffèrent de façon statistiquement significative, offrant ainsi une lecture sémiologique immédiate et visuellement irréprochable.

10. Alternatives robustes en cas de violation des postulats

10.1 Test de Games-Howell en présence d’hétéroscédasticité

Dans la recherche empirique en psychologie clinique, différentielle ou psychopathologique, l’égalité des variances (homoscédasticité) constitue une chimère fréquemment démentie par la réalité des données de terrain. Par exemple, un groupe de patients souffrant d’un trouble anxieux sévère présentera souvent une variance intra-groupe de temps de réaction substantiellement plus dispersée qu’un groupe témoin neurotypique. Lorsque le test de Levene rejette sans appel l’hypothèse d’homogénéité des variances, l’usage des tests de Tukey, Bonferroni ou Holm traditionnels est formellement compromis, sous peine d’induire un taux massif de faux positifs.

L’alternative paramétrique robuste de premier plan est le test de Games-Howell. Cette procédure constitue l’extension directe du célèbre test t de Welch — qui compense la variance inégale pour deux échantillons — à l’univers des comparaisons multiples. Le test de Games-Howell n’utilise pas de terme d’erreur résiduelle global mutualisé ; il s’appuie au contraire sur les variances empiriques distinctes propres à chaque groupe et compense le déséquilibre en ajustant les degrés de liberté via la formule de dérivation asymptotique de Welch-Satterthwaite.

Dans l’environnement R, le test de Games-Howell se déploie avec une remarquable fluidité grâce au package analytique contemporain rstatix :

library(rstatix)
resultats_gh <- donnees %>% games_howell_test(Score ~ Methode)

La sortie console détaillée fournit une matrice intégrale indiquant les différences observées, les erreurs-types de Welch calculées localement, les degrés de liberté continus réestimés (qui prennent souvent des valeurs décimales, caractéristiques de l’approximation de Welch-Satterthwaite), ainsi que les intervalles de confiance et p-valeurs corrigés basés sur la statistique de l’étendue studentisée adaptée aux contextes hétéroscédastiques. Ce test s’impose comme le réflexe méthodologique standard dès lors que l’homoscédasticité est infirmée.

10.2 Test non paramétrique de Dunn après un test de Kruskal-Wallis

Lorsque les données recueillies enfreignent gravement le postulat de normalité des résidus — par exemple face à des distributions fortement asymétriques, des planchers de mesure extrêmes, ou des variables de nature purement ordinale —, l’analyse de variance paramétrique classique est structurellement disqualifiée. L’analyste se tourne alors légitimement vers le test non paramétrique omnibus de Kruskal-Wallis, qui opère une substitution de rangs sur les observations continues réunies.

Cependant, à l’instar du test F de l’ANOVA, un test de Kruskal-Wallis significatif n’indique aucunement quelles médianes ou distributions de rangs divergent localement. Pour réaliser les comparaisons par paires subséquentes au sein de ce paradigme ordonné, l’application itérative non corrigée de tests de Mann-Whitney (ou de Wilcoxon pour échantillons indépendants) génère une inflation galopante de l’erreur de type I. La méthodologie post-hoc canonique dédiée à ce contexte réside dans le test de Dunn.

Le test de Dunn compare les différences relatives entre les sommes de rangs moyens obtenues par chaque modalité, en utilisant l’estimation de la variance asymptotique conjointe de la distribution de rangs globale. Son exécution est facilitée par la bibliothèque FSA :

library(FSA)
resultats_dunn <- dunnTest(Score ~ Methode, data = donnees, method = "holm")

L’argument central method = "holm" associe directement la robustesse non paramétrique de l’algorithme de Dunn à l’ajustement séquentiel optimal de Holm pour les valeurs p. Les résultats permettent au chercheur de conclure avec une parfaite rigueur inférentielle sur les paires de conditions qui se démarquent véritablement, sans jamais violer l’essence ordinale de ses mesures psychométriques.

10.3 Techniques de rééchantillonnage (Bootstrapping post-hoc)

À l’intersection des approches paramétriques et non paramétriques se déploie une méthodologie algorithmique d’une puissance computationnelle remarquable : le rééchantillonnage par bootstrap. Lorsqu’un jeu de données présente simultanément de légères asymétries distributionnelles, des queues de distribution épaisses et des effectifs relativement contingents qui rendent suspectes les hypothèses distributionnelles asymptotiques, le bootstrap permet d’estimer la distribution d’échantillonnage d’un contraste directement à partir des données empiriques observées.

Le principe général consiste à tirer avec remise un nombre massif de pseudo-échantillons (par exemple B = 2000 ou 5000) de même taille que l’échantillon initial, et de calculer la différence des moyennes à chaque itération. À partir de cette distribution empirique générée par ordinateur, l’analyste peut dériver des intervalles de confiance non paramétriques — notamment les intervalles de confiance par percentile ou, idéalement, les intervalles accélérés et corrigés du biais (BCa pour Bias-Corrected and Accelerated).

En psychologie quantitative avancée, ces techniques robustes de rééchantillonnage sont magnifiquement implémentées par la bibliothèque spécialisée WRS2 (développée d’après les travaux fondamentaux de Rand Wilcox sur les méthodes statistiques robustes). Par le biais de fonctions comme mcppb20() (qui évalue des comparaisons multiples sur des moyennes tronquées à 20 % à l’aide d’un bootstrap par centiles), le chercheur s’affranchit totalement de la sensibilité disproportionnée aux valeurs aberrantes extrêmes (outliers) qui polluent souvent les collectes empiriques de données psychologiques, garantissant ainsi une inférence d’une fidélité irréprochable.

11. Visualisation graphique publication-ready des comparaisons post-hoc

11.1 Représentation par diagrammes en boîte enrichis avec ggplot2

La communication scientifique moderne exige une transparence accrue dans la restitution des faits expérimentaux. L’époque où les publications se contentaient de simples diagrammes en bâtons représentant des moyennes assorties d’une modeste barre d’erreur standard (familièrement dénommés dynamite plots) est révolue. Ces visualisations simplistes masquent la dispersion sous-jacente, la présence d’asymétries ou l’existence de valeurs divergentes, et sont désormais découragées par les comités de lecture internationaux.

La méthodologie contemporaine préconise la conception de diagrammes en boîte enrichis (hybrid boxplots) combinant la visualisation synthétique des quartiles et la superposition des points de données individuels sous forme de nuage dispersé (jitter). Le package graphique de référence mondiale ggplot2 offre l’environnement idéal pour concevoir de telles figures.

La syntaxe de fondation se structure selon les principes de la grammaire des graphiques :

library(ggplot2)
graphique_base <- ggplot(donnees, aes(x = Methode, y = Score, fill = Methode)) +
  geom_boxplot(outlier.shape = NA, alpha = 0.6, width = 0.5) +
  geom_jitter(width = 0.15, alpha = 0.7, size = 2, color = "grey30") +
  theme_classic(base_size = 14) +
  scale_fill_brewer(palette = "Set2") +
  labs(x = "Condition d'apprentissage", y = "Score de rétention mémorielle") +
  theme(legend.position = "none")

L’utilisation judicieuse de outlier.shape = NA au sein de geom_boxplot() est cruciale : elle prévient l’affichage en double des valeurs atypiques qui résulterait de la superposition conjointe de la couche geom_jitter(). L’application d’un thème minimaliste épuré comme theme_classic(), combinée à une typographie claire et une palette colorimétrique adaptée aux déficiences de la vision chromatique (comme la palette viridis ou RColorBrewer), garantit l’alignement immédiat avec les exigences visuelles des plus grandes revues internationales.

11.2 Annotation automatique de la significativité avec ggpubr

L’une des étapes les plus laborieuses lors de la finalisation d’un manuscrit consiste à superposer manuellement sur le graphique les barres horizontales d’inférence (les fameux « crochets » de comparaison) annotées des astérisques de significativité ou des p-valeurs exactes. Cette opération artisanale, souvent exécutée sous des logiciels de retouche vectorielle externes, constitue une rupture dommageable de la chaîne de reproductibilité computationnelle.

Pour automatiser ce processus avec une précision chirurgicale au sein même de R, la bibliothèque ggpubr fournit des extensions ergonomiques de premier ordre, notamment la commande stat_pvalue_manual(). Cette fonction est capable d’ingérer directement un tableau de résultats post-hoc pré-calculé (issu par exemple d’un test post-hoc exécuté avec rstatix) et d’en projeter dynamiquement les coordonnées sur l’axe cartésien.

La mise en œuvre procède comme suit :

library(ggpubr)
stats_posthoc <- donnees %>%
  tukey_hsd(Score ~ Methode) %>%
  add_xy_position(x = "Methode", step.increase = 0.12)

graphique_final <- graphique_base +
  stat_pvalue_manual(stats_posthoc, label = "p.adj.signif", tip.length = 0.02, hide.ns = TRUE)

L’utilitaire add_xy_position() détermine avec une rigueur mathématique sans faille les coordonnées d’élévation verticale (y-position) de chaque barre de comparaison, évitant ainsi le chevauchement chaotique des crochets au-dessus des distributions. L’option hide.ns = TRUE écarte automatiquement de la visualisation les comparaisons non significatives, allégeant la charge cognitive du lecteur pour concentrer toute l’attention visuelle sur les contrastes expérimentaux décisifs.

11.3 Utilisation des lettres de significativité compactes (CLD)

Lorsque le dispositif factoriel se complexifie et que le nombre de groupes franchit le seuil de 4 ou 5 modalités, la méthode des crochets et astérisques de comparaison atteint un point de saturation visuelle intenable : l’accumulation de barres et d’étoiles engendre un enchevêtrement illisible. Dans cette configuration dense, la méthodologie graphique recommandée par les biométriciens et statisticiens repose sur le système des lettres de significativité compactes, universellement formalisé sous l’acronyme CLD (Compact Letter Display).

L’élégance théorique du système CLD réside dans sa capacité de synthèse : deux groupes qui partagent au moins une lettre typographique identique commune au-dessus de leur distribution ne sont pas statistiquement différents au seuil alpha retenu ; inversement, deux groupes qui ne partagent aucune lettre commune sont significativement distincts. Ainsi, si le groupe Contrôle est annoté de la lettre « a », le groupe Elaboration de « b », et le groupe Retrieval de « b », les méthodes Elaboration et Retrieval ne se démarquent pas mutuellement, mais toutes deux surclassent de façon significative le Contrôle.

Dans l’environnement R, la génération automatique de ces lettres à partir d’un modèle estimé s’obtient avec une efficacité redoutable en articulant le package multcompView avec emmeans :

library(multcomp)
cld_resultats <- cld(emm_methode$emmeans, Letters = letters, adjust = "tukey")

Les vecteurs textuels ainsi dérivés peuvent ensuite être projetés sous forme de couche géométrique geom_text() directement au-dessus des bornes supérieures des diagrammes en boîte ou des barres d’erreur dans ggplot2. Cette stratégie condense une matrice massive de contrastes en un encodage visuel limpide, épuré et parfaitement conforme aux exigences d’optimisation de l’espace typographique des périodiques scientifiques de renom.

12. Normes de rapportage académique selon le style APA et bonnes pratiques

12.1 Règles de rédaction des tests post-hoc selon l’APA 7e édition

La communication publique des résultats d’analyses inférentielles constitue l’aboutissement du travail de recherche. Les directives édictées par l’American Psychological Association dans sa septième édition (APA 7) prescrivent des règles de standardisation typographique et rédactionnelle strictes destinées à assurer une comparabilité et une translucidité totales des protocoles.

Le rapportage d’une analyse de variance assortie de tests post-hoc doit articuler harmonieusement le résultat omnibus macroscopique et les inférences microscopiques locales. La prose doit impérativement préciser la valeur exacte de la statistique de test, les degrés de liberté théoriques et résiduels, la p-valeur numérique exacte (arrondie à trois décimales, en évitant les expressions vagues comme p < 0,05, sauf pour les valeurs infinitésimales rapportées sous la forme p < 0,001), l’estimation ponctuelle de la taille d’effet, ainsi que les moyennes arithmétiques empiriques (M) et leurs écarts-types (SD) pour chacune des cellules expérimentales.

Sur le plan textuel, la formalisation canonique d’un contraste post-hoc s’énonce selon le modèle exemplaire suivant :

« L’analyse de variance unidirectionnelle a mis en évidence un effet principal significatif de la méthode d’apprentissage sur les scores de rétention mémorielle, F(3, 116) = 14,28, p < 0,001, η_p² = 0,27. Les comparaisons par paires post-hoc menées à l’aide du test HSD de Tukey ont révélé que les participants assignés à la condition de pratique de récupération espacée (M = 78,40, SD = 8,12) ont obtenu des performances significativement supérieures à ceux de la condition de relecture passive contrôle (M = 62,15, SD = 7,85), avec une différence moyenne de 16,25 points, IC à 95 % [10,42, 22,08], p < 0,001, d = 1,45. Aucune différence statistiquement fiable n’a en revanche été détectée entre la pratique de récupération et l’approche combinatoire de double codage (p = 0,423). »

Il est strictement impératif d’identifier nommément la procédure d’ajustement retenue (par exemple, correction de Tukey, de Holm ou de Games-Howell) pour prémunir le lecteur contre toute ambiguïté méthodologique.

12.2 Conception de tableaux synthétiques pour revues à comité de lecture

Lorsque le devis factoriel comporte un nombre élevé de modalités, l’intégration exhaustive de toutes les dyades au sein du corps du texte narratif alourdit considérablement la lecture et nuit à l’accessibilité conceptuelle du propos. La mise en forme de tableaux récapitulatifs devient alors la modalité préférentielle d’exposition documentaire.

Un tableau académique respectant scrupuleusement les canons formels de l’APA 7 doit bannir les quadrillages verticaux et restreindre les filets horizontaux aux stricts délimiteurs de tête de colonne et de clôture de table. Les métriques indispensables à faire figurer dans les colonnes sont : les dyades comparées, la différence moyenne brute observée, l’erreur-type du contraste, les bornes de l’intervalle de confiance ajusté et la probabilité critique corrigée, associées idéalement à l’indice standardisé de taille d’effet (d de Cohen ou g de Hedges).

L’écosystème R contemporain dispose de packages remarquables pour générer ces tables directement au format de publication sans recopie manuelle — source majeure d’erreurs typographiques dans les manuscrits scientifiques. Les bibliothèques gtsummary et knitr associées à kableExtra permettent de convertir directement les objets de modélisation en tableaux HTML, LaTeX ou Word répondant immédiatement aux chartes éditoriales les plus contraignantes. Il est crucial d’adjoindre en note de bas de tableau une mention explicite précisant la technique de correction employée, par exemple : « Note. IC = intervalle de confiance. Les valeurs p et les intervalles de confiance ont été ajustés selon la méthode séquentielle de Holm. »

12.3 Erreurs méthodologiques courantes et recommandations finales

Pour conclure cette exploration approfondie de l’inférence post-hoc sous R, il convient de dresser un bilan prophylactique des erreurs méthodologiques récurrentes constatées dans la littérature en psychologie empirique, et de synthétiser les directives opérationnelles pour une pratique quantitative irréprochable :

• La confusion fallacieuse entre contrastes planifiés et tests post-hoc : Sélectionner une méthode a posteriori alors que les hypothèses découlaient organiquement du cadre théorique initial constitue une pénalisation inutile en puissance statistique. Inversement, baptiser un contraste post-hoc hautement significatif d’« hypothèse a priori » après avoir examiné les données s’apparente à une fraude scientifique intellectuelle désignée sous le vocable de HARKing (Hypothesizing After the Results are Known).
• Le « shopping » de p-valeurs (p-hacking post-hoc) : Face à un contraste dont la significativité oscille autour du seuil fatidique de 0,05, certains chercheurs testent successivement Tukey, Bonferroni, Holm, Scheffé et Fisher LSD jusqu’à en dénicher un qui franchit la frontière convoitée. Cette pratique opportuniste détruit toute validité inférentielle. Le choix de la procédure doit être statué avant l’analyse des données, rigoureusement conditionné par la nature du plan expérimental et l’intégrité des postulats mathématiques.
• L’oubli dramatique de la vérification de l’homoscédasticité : Trop d’analystes appliquent par défaut le test TukeyHSD() sans interroger au préalable la variance des résidus. Lorsque l’hétéroscédasticité est substantielle, Tukey perd le contrôle du FWER. Le recours systématique au test de Levene et l’adoption du test de Games-Howell en cas d’échec constituent le garde-fou obligatoire.
• Le dogme de la science ouverte et du pré-enregistrement : Afin de garantir l’intégrité absolue du processus de recherche, la communauté scientifique internationale invite expressément les chercheurs à pré-enregistrer leurs plans d’analyses statistiques sur des plateformes certifiées telles que l’Open Science Framework (OSF). Documenter explicitement en amont les familles de comparaisons prévues, les corrections d’erreur par famille anticipées et le pipeline de code R programmé constitue le remède ultime pour restaurer la pleine confiance méthodologique dans les découvertes de la psychologie quantitative moderne.

Références

• American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). American Psychological Association. https://doi.org/10.1037/0000165-000
• Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
• Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates.
• Dunn, O. J. (1961). Multiple comparisons among means. Journal of the American Statistical Association, 56(293), 52–64. https://doi.org/10.1080/01621459.1961.10482090
• Games, P. A., & Howell, J. F. (1976). Pairwise multiple comparison procedures with unequal n’s and/or variances: A Monte Carlo study. Journal of Educational Statistics, 1(2), 113–125. https://doi.org/10.3102/10769986001002113
• Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. https://www.jstor.org/stable/4615733
• Lenth, R. V. (2023). emmeans: Estimated marginal means, aka least-squares means (R package version 1.8.8). Comprehensive R Archive Network. https://CRAN.R-project.org/package=emmeans
• Maxwell, S. E., Delaney, H. D., & Kelley, K. (2018). Designing experiments and analyzing data: A model comparison perspective (3rd ed.). Routledge. https://doi.org/10.4324/9781315642956
• R Core Team. (2023). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-project.org/
• Scheffé, H. (1953). A method for judging all contrasts in the analysis of variance. Biometrika, 40(1/2), 87–110. https://doi.org/10.2307/2333100
• Tukey, J. W. (1949). Comparing individual means in the analysis of variance. Biometrics, 5(2), 99–114. https://doi.org/10.2307/3001913
• Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer-Verlag. https://ggplot2.tidyverse.org
• Wilcox, R. R. (2022). Introduction to robust estimation and hypothesis testing (5th ed.). Academic Press. https://doi.org/10.1016/C2019-0-03820-2