Une explication simple de la significativité statistique versus pratique

Dans le paysage contemporain de la recherche scientifique, et plus particulièrement au sein des sciences psychologiques, comportementales et médicales, l’évaluation quantitative des résultats constitue le socle sur lequel reposent la validation des théories et la légitimation des interventions cliniques. Pourtant, depuis plusieurs décennies, un malentendu épistémologique persistant entrave la bonne interprétation des découvertes empiriques : la confusion quasi systématique entre la significativité statistique et la significativité pratique. Trop souvent, l’obtention du sacro-saint seuil de probabilité fixé arbitrairement à cinq centièmes est célébrée comme la preuve irréfutable d’une découverte majeure, alors qu’elle ne renseigne en réalité que sur la plausibilité d’observer de telles données sous l’hypothèse d’une absence totale d’effet.

Cette hégémonie de la valeur p a façonné des générations de chercheurs, d’étudiants et de praticiens, érigeant une frontière binaire et artificielle entre ce qui serait scientifiquement avéré et ce qui relèverait du néant méthodologique. Une telle dichotomisation occulte une question fondamentale, pourtant au cœur de toute démarche appliquée : au-delà de l’improbabilité que le hasard seul ait engendré l’observation, quelle est l’ampleur réelle du phénomène mesuré, et en quoi transforme-t-il concrètement la vie des individus concernés ? Une différence moyenne de quelques millisecondes dans un temps de réaction ou d’une fraction de point sur une échelle psychométrique standardisée peut certes triompher des tests d’inférence statistique les plus rigoureux, sans pour autant posséder la moindre répercussion fonctionnelle dans le monde réel.

Le présent article propose une exploration approfondie et didactique de cette distinction cardinale. En déconstruisant les fondements mathématiques et philosophiques des tests d’hypothèses, nous mettrons en lumière les mécanismes par lesquels la significativité statistique s’affranchit parfois totalement du bon sens pragmatique. De l’anatomie de la distribution d’échantillonnage aux exigences contemporaines de la science ouverte, en passant par l’estimation des tailles d’effet, les intervalles de confiance et les critères de changement clinique individuel, ce guide exhaustif a pour vocation de fournir aux chercheurs, cliniciens et analystes les outils conceptuels nécessaires pour réconcilier la rigueur mathématique avec l’utilité pratique des savoirs scientifiques.

1. Introduction aux fondements de l’inférence : Hypothèses et paramètres de population

1.1 Définition du paramètre de population et de l’hypothèse statistique

L’inférence statistique prend naissance dans une contrainte matérielle incontournable : l’impossibilité pratique d’observer l’intégralité d’un ensemble d’individus ou d’événements partageant des caractéristiques communes, ensemble que la théorie nomme population. Dans ce cadre formel, les propriétés fondamentales de cette population sont synthétisées par des grandeurs numériques invariables mais fondamentalement inconnaissables de manière directe, désignées sous le terme de paramètres de population. Qu’il s’agisse de la moyenne théorique d’un trait (notée $\mu$), de sa dispersion mesurée par l’écart-type ($\sigma$), ou de la corrélation réelle entre deux dimensions psychologiques ($rho$), ces paramètres constituent la vérité ontologique sous-jacente que la recherche empirique s’efforce d’approcher.

Face à cette méconnaissance intrinsèque de la réalité absolue, le chercheur formule une hypothèse statistique, qui se définit comme une conjecture quantitative explicite portant précisément sur la valeur ou les relations qu’entretiennent un ou plusieurs paramètres de population. En psychologie cognitive ou clinique, par exemple, un chercheur ne peut prétendre évaluer le niveau d’anxiété de l’ensemble des individus souffrant d’un trouble panique à l’échelle d’un continent. Il pose alors comme hypothèse que le score moyen d’anxiété de cette population clinique dépasse d’une valeur déterminée celui observé dans la population générale, ou qu’un programme spécifique d’entraînement de la mémoire de travail modifie le score cognitif moyen d’un groupe d’âge particulier. L’hypothèse statistique traduit ainsi une intuition théorique ou clinique abstraite en un énoncé probabilisable, soumis aux contraintes de la métrologie et des mathématiques appliquées.

Il est dès lors primordial d’opérer une distinction conceptuelle stricte entre la vérité dans la population et l’observation sur un échantillon. La statistique calculée à partir des données recueillies au sein d’un groupe restreint de participants ne représente jamais le paramètre lui-même, mais seulement une estimation ponctuelle affectée d’une incertitude inhérente. Confondre la moyenne observée d’un échantillon d’étudiants avec le paramètre de la population étudiante globale constitue une erreur épistémique majeure : l’échantillon est contingent, temporaire et fluctuant, tandis que le paramètre de population demeure la constante d’intérêt que l’analyse inférentielle tente d’appréhender à travers le prisme déformant du hasard d’échantillonnage.

1.2 Le rôle fondamental de l’échantillonnage aléatoire

Puisqu’il est irréalisable d’administrer une épreuve psychométrique ou un protocole psychothérapeutique à des millions de personnes, le recours à un échantillon constitue la seule passerelle empirique vers la connaissance de la population. Toutefois, la validité de l’inférence repose entièrement sur l’hypothèse que cet échantillon constitue un miroir fidèle des structures de la population cible. C’est ici qu’intervient l’impératif de l’échantillonnage aléatoire probabiliste, méthode selon laquelle chaque membre de la population possède une probabilité connue et non nulle d’être sélectionné dans le sous-groupe d’étude.

Néanmoins, même sous les conditions idéales d’un tirage au sort parfait, la variabilité d’échantillonnage demeure une loi incontournable de la nature. Deux échantillons distincts de cent individus, tirés d’une même population homogène au moyen d’un processus rigoureusement identique, ne présenteront jamais des moyennes ou des variances parfaitement superposables. Ces fluctuations aléatoires introduisent une part d’incertitude indépassable dans la collecte de données empiriques. L’estimation statistique n’est pas un calcul déterministe, mais un processus probabiliste où la divergence observée entre l’échantillon et le paramètre théorique peut simplement résulter de la chance inhérente à la sélection des sujets.

Lorsque les procédures d’échantillonnage s’écartent du tirage probabiliste pour privilégier des méthodes de convenance — pratique omniprésente en psychologie universitaire où les cohortes sont largement composées d’étudiants occidentaux, éduqués, industrialisés, riches et démocratiques (dits échantillons WEIRD) —, la représentativité s’effondre. Dès lors, les menaces pesant sur la validité externe deviennent considérables. Les inférences statistiques perdent leur fondement légitime, car il devient impossible de déterminer si les relations mesurées reflètent un fonctionnement psychologique universel ou un artéfact propre aux idiosyncrasies socio-démographiques du sous-groupe étudié, fragilisant ainsi l’ensemble de l’édifice déductif.

1.3 La structure des tests d’hypothèses : Hypothèse nulle versus alternative

Pour naviguer dans le brouillard introduit par la variabilité d’échantillonnage, la statistique inférentielle classique a institutionnalisé une approche formalisée reposant sur la confrontation de deux hypothèses mutuellement exclusives et exhaustives : l’hypothèse nulle ($H_0$) et l’hypothèse alternative ($H_1$). L’hypothèse nulle constitue le point d’ancrage par défaut de l’appareil de calcul ; elle formalise le postulat selon lequel il n’existe aucun effet, aucune différence entre les groupes expérimentaux, ou aucune association entre les variables étudiées au niveau de la population générale ($\mu_1 – \mu_2 = 0$ ou $rho = 0$).

À l’opposé, l’hypothèse alternative ($H_1$) capture la prédiction substantielle formulée par le chercheur, à savoir l’affirmation qu’une intervention produit un changement effectif, qu’une thérapie induit un soulagement mesurable des symptômes, ou que deux processus cognitifs interagissent de manière systématique. La démarche scientifique adopte ici un détour logique singulier, directement hérité du rationalisme critique formalisé par Karl Popper et son principe de réfutabilité. Dans ce paradigme, une affirmation générale ne peut jamais être prouvée de manière définitive par une accumulation d’observations corroborantes, car une observation ultérieure peut toujours la démentir ; en revanche, elle peut être réfutée par une observation empirique incompatible avec ses prédictions.

Ainsi, le test d’hypothèse statistique ne cherche pas à établir directement la véracité de $H_1$, mais s’évertue à déterminer si les données recueillies permettent de rejeter formellement $H_0$. Toute la logique inférentielle repose sur une tentative de falsification : nous postulons provisoirement l’absence de tout effet ($H_0$), nous calculons la probabilité mathématique d’observer les données obtenues dans un tel univers sceptique, et si cette probabilité s’avère excessivement faible, nous rejetons l’hypothèse nulle au profit de l’hypothèse alternative. Le maintien de $H_0$, quant à lui, ne signifie jamais que l’absence d’effet est prouvée, mais simplement que les données actuelles ne fournissent pas de preuves empiriques suffisantes pour déclarer l’hypothèse nulle intenable.

2. Le mécanisme des tests d’hypothèses statistiques : De l’échantillon à la décision

2.1 Le calcul de la distribution d’échantillonnage sous H0

Le rouage fondamental permettant de relier l’échantillon empirique à la décision théorique réside dans la construction de la distribution d’échantillonnage. Si l’on prélevait un nombre infini d’échantillons de taille $N$ dans une population où l’hypothèse nulle est rigoureusement exacte, et que l’on calculait pour chacun d’eux la statistique de test appropriée (telle que le t de Student ou le F de Fisher), ces valeurs théoriques se distribueraient selon une fonction de densité probabiliste connue et prévisible. Cette distribution modélise formellement l’ampleur des écarts attribuables au pur hasard d’échantillonnage sous les auspices de $H_0$.

La légitimité de ce calcul s’appuie massivement sur le Théorème Central Limite. Ce théorème mathématique fondamental démontre que, pour des échantillons de taille suffisante, la distribution des moyennes d’échantillonnage converge asymptotiquement vers une loi normale, indépendamment de la forme de la distribution de la variable au sein de la population d’origine. Grâce à cette propriété remarquable, les statisticiens peuvent déterminer avec une précision analytique absolue les lois théoriques (loi normale, loi de Student, loi du Chi-deux, etc.) que suivront les statistiques calculées, pourvu que certaines conditions de régularité soient satisfaites.

Dès lors que cette distribution théorique sous $H_0$ est caractérisée, il devient possible de confronter la statistique issue de l’échantillon expérimental à cette distribution de référence. Le chercheur évalue ainsi la vraisemblance relative de son observation : le résultat obtenu se situe-t-il au cœur de la distribution, dans la zone où s’accumulent les variations banales et ordinaires générées par l’échantillonnage aléatoire ? Ou se projette-t-il à l’extrême périphérie de la courbe, dans les régions de faible densité de probabilité où l’occurrence d’une telle valeur relèverait du quasi-miracle si l’hypothèse nulle régnait en maître sur la population ?

2.2 Le seuil de signification alpha : Une convention probabiliste

Pour trancher de manière opérationnelle entre l’acceptabilité et l’incongruité des données sous le modèle nul, la méthodologie inférentielle recourt à un seuil décisionnel prédéterminé, désigné par la lettre grecque $\alpha$ (alpha). Ce paramètre définit le risque maximal d’erreur de première espèce que le chercheur consent à assumer, c’est-à-dire la probabilité de rejeter à tort l’hypothèse nulle alors que celle-ci est fondamentalement vraie dans la population cible. Fixer un seuil de signification revient à tracer une ligne rouge quantitative au-delà de laquelle les données seront jugées incompatibles avec le simple hasard.

Sur le plan historique, la standardisation quasi universelle du seuil à 0,05 (complétée parfois par les seuils plus stricts de 0,01 ou plus libéraux de 0,10) trouve son origine dans les écrits méthodologiques de Sir Ronald Fisher au cours des années 1920. Dans son ouvrage fondateur Statistical Methods for Research Workers, Fisher suggéra qu’une valeur se produisant moins d’une fois sur vingt par pur hasard offrait une indication pratique suffisante pour justifier une investigation scientifique plus poussée. Ce qui n’était à l’origine qu’une règle empirique indicative, formulée avec souplesse dans le cadre de recherches agronomiques, a subi au fil des décennies une sclérose institutionnelle pour devenir un dogme absolu et universel régissant l’admission des manuscrits dans les revues académiques internationales.

La nature de ce seuil demeure pourtant profondément arbitraire. Il n’existe aucun fondement mathématique, physique ou biologique justifiant qu’un événement possédant une probabilité de survenue de 0,049 sous $H_0$ témoigne d’une réalité scientifique pérenne, tandis qu’un événement affichant une probabilité de 0,051 doive être relégué à l’inexistence méthodologique. Les conséquences de cette convention binaire sont immenses : elle impose un filtre brutal sur la prise de décision, encourageant les chercheurs à concevoir la connaissance selon un schéma manichéen où l’existence d’un phénomène dépend exclusivement du franchissement d’une frontière probabiliste artificielle.

2.3 La règle de décision dans l’approche de Neyman-Pearson

Tandis que Fisher envisageait la valeur $p$ comme un indice continu de preuve contre l’hypothèse nulle à intégrer au jugement scientifique global, les mathématiciens Jerzy Neyman et Egon Pearson ont formalisé un cadre décisionnel beaucoup plus strict, pensé comme une procédure de contrôle des erreurs à long terme. Dans ce modèle néo-classique, la règle de décision repose sur une partition rigoureuse de l’espace d’échantillonnage en deux zones distinctes : la zone d’acceptation (ou plus exactement de non-rejet) et la zone de rejet, cette dernière étant délimitée par une ou plusieurs valeurs critiques directement déduites du niveau $\alpha$ sélectionné.

Selon l’orientation des prédictions théoriques, le test statistique peut adopter une architecture unilatérale ou bilatérale. Dans un test bilatéral, la zone de rejet est scindée équitablement entre les deux extrémités de la distribution théorique (chacune capturant une fraction $\alpha / 2$ de l’aire sous la courbe), ce qui permet de détecter un effet indépendamment de sa direction positive ou négative. Dans un test unilatéral, l’intégralité de la région critique est massée sur une seule queue de la distribution, augmentant la sensibilité à détecter une différence dans la direction strictement postulée par la théorie, au prix de l’aveuglement complet face à un effet de sens opposé.

Dès lors que la statistique empirique calculée excède la valeur critique — ou, de manière équivalente, que la probabilité associée à cette statistique franchit le seuil $\alpha$ —, la règle néyman-pearsonienne prescrit une action univoque : le rejet inconditionnel de $H_0$ et l’adoption opérationnelle de $H_1$. Si la statistique demeure en deçà du seuil, la conclusion prescrite n’est pas que l’hypothèse nulle est vraie, mais que la procédure statistique n’a pas permis d’amasser une quantité de preuves suffisante pour justifier son rejet. Cette posture n’exprime pas une croyance épistémique dans le néant, mais une suspension méthodique du jugement face au risque d’erreur d’échantillonnage.

3. La significativité statistique : Définition formelle et décryptage de la p-valeur

3.1 Qu’est-ce que la valeur p (p-value) réellement ?

Au cœur de l’inférence fréquentiste se loge le concept le plus omniprésent et le plus mal interprété de la littérature scientifique contemporaine : la valeur p (ou p-value). Selon sa définition mathématique stricte, la valeur p désigne la probabilité, sous la condition expresse que l’hypothèse nulle ($H_0$) soit rigoureusement exacte au niveau de la population, d’obtenir une statistique de test au moins aussi extrême ou plus extrême que celle effectivement observée dans l’échantillon à l’étude. Formellement, elle s’exprime par la probabilité conditionnelle $P(D ge d_{\text{obs}} mid H_0)$, où $D$ représente la variable aléatoire associée aux données et $d_{\text{obs}}$ l’observation concrète réalisée par le chercheur.

Il est capital d’insister sur les termes de cette définition pour dissiper les nombreuses distorsions cognitives qui polluent son usage. La valeur p n’est en aucune manière la probabilité que l’hypothèse nulle soit vraie compte tenu des données recueillies, ce qui relèverait de l’inversion conditionnelle fallacieuse formalisée par l’équation $P(H_0 mid D)$. Calculer une telle probabilité a posteriori nécessiterait de mobiliser l’appareil statistique bayésien et d’attribuer une distribution de probabilité préalable à l’hypothèse elle-même, ce que le cadre fréquentiste classique s’interdit formellement de faire.

La valeur p doit donc être appréhendée pour ce qu’elle est : une mesure continue de la compatibilité statistique existant entre les données empiriques observées et le modèle théorique sous-jacent qui postule une absence totale d’effet. Une valeur p élevée atteste simplement que les observations s’insèrent sans encombre dans le modèle de variabilité d’échantillonnage standard généré par le hasard pur. Inversement, une valeur p très faible met en lumière une tension aiguë entre les données récoltées et le modèle nul, forçant l’analyste à choisir entre deux explications logiques : soit un événement hautement improbable s’est produit par simple chance d’échantillonnage, soit le modèle théorique nul est inadéquat pour décrire la réalité.

3.2 La conclusion de significativité statistique

Lorsqu’au terme des calculs, la valeur p d’un test se révèle inférieure au seuil conventionnel $\alpha$ (généralement 0,05), la communauté scientifique autorise formellement l’énoncé suivant : le résultat est qualifié de statistiquement significatif. Dans son acception originelle et la plus rigoureuse, ce qualificatif n’a qu’une portée technique extrêmement circonscrite : il indique que la magnitude ou la régularité de l’effet observé au sein de l’échantillon dépasse ce qu’il est convenu d’attribuer aux seules fluctuations stochastiques du tirage au sort probabiliste.

Sur le plan épistémologique, la proclamation de significativité statistique confère un statut préliminaire d’existence à un phénomène dans le corpus des données expérimentales. Elle autorise le chercheur à affirmer qu’une anomalie par rapport au bruit de fond a été détectée avec un niveau de sécurité prédéfini contre l’erreur de faux positif. C’est l’étape par laquelle une observation quitte le statut de simple variation aléatoire pour accéder à celui de fait empirique méritant l’attention de la communauté des pairs et nécessitant une tentative d’explication théorique.

Toutefois, franchir cette étape ne valide en rien l’hypothèse conceptuelle formulée par le scientifique. L’attribution de la cause de cette anomalie statistique à la théorie précise postulée par l’expérimentateur relève de la validité de construit et du contrôle méthodologique, non de la statistique pure. Un test d’hypothèse peut se révéler statistiquement significatif non pas en raison de la véracité de la théorie psychologique sous-jacente, mais à cause d’un biais d’échantillonnage masqué, d’une variable de confusion non contrôlée, d’un effet d’ordre des tâches, ou d’une erreur systématique de mesure. Confondre le rejet mathématique de $H_0$ avec la validation empirique d’un paradigme psychologique complexe représente un saut inférentiel injustifiable.

3.3 Les contresens fréquents entourant la significativité statistique

La littérature en méthodologie quantitative a documenté une multitude de biais d’interprétation qui touchent aussi bien les étudiants que les chercheurs chevronnés et les éditeurs de revues scientifiques. Le premier de ces contresens majeurs est l’illusion de réplication, selon laquelle la quantité $(1 – p)$ équivaudrait à la probabilité de reproduire exactement le même résultat lors d’une expérience ultérieure identique. Ainsi, une valeur $p = 0,01$ est fréquemment et faussement interprétée comme la garantie à 99 % que l’effet redeviendra significatif si l’étude est reconduite. En réalité, sous le régime des variations d’échantillonnage, la valeur p d’une réplication présente une variabilité considérable, désignée par les statisticiens sous le terme de danse de la valeur p, rendant cette interprétation totalement invalide.

Un deuxième contresens particulièrement pernicieux consiste à inférer qu’une valeur p infinitésimale (par exemple $p < 0,00001$) atteste de l'existence d'un effet puissant, profond ou d'une vaste portée théorique. Cette croyance confond la force du signal contre le bruit avec la magnitude du phénomène lui-même. Une valeur p microscopique indique seulement une incompatibilité radicale avec le modèle nul dans les conditions de l’étude ; elle peut tout aussi bien résulter d’une taille d’échantillon démesurée observant un phénomène trivial que d’un effet biologique massif mesuré sur un groupe restreint.

Enfin, la confusion la plus destructrice pour l’avancement des connaissances appliquées est sans conteste l’assimilation de la certitude méthodologique à la pertinence scientifique. Ce glissement sémantique s’enracine dans l’évolution du mot « significatif » dans le langage commun, où il est devenu synonyme d’« important », de « substantiel » ou de « remarquable ». En statistique, « significatif » ne signifie rien d’autre que « signaleur » ou « décelable à travers le bruit ». Un résultat peut être statistiquement significatif tout en étant absolument insignifiant sur le plan théorique, sociétal, médical ou clinique, un constat que la pratique scientifique moderne oublie avec une constance troublante.

4. Les limites intrinsèques de la p-valeur dans la recherche psychologique

4.1 Le piège de la dichotomisation binaire

L’utilisation hégémonique du cadre de décision hérité de la vulgarisation croisée de Fisher et de Neyman-Pearson a plongé la recherche en sciences humaines dans le piège de la dichotomisation binaire. En subordonnant l’existence épistémologique d’un résultat au passage d’une barrière rigide à 0,05, la science s’expose à un phénomène destructeur connu sous le nom d’effet falaise (ou cliff effect). Cet effet se manifeste par une rupture radicale et illusoire d’interprétation entre un résultat affichant $p = 0,049$ — encensé comme une découverte majeure — et un résultat mesuré à $p = 0,051$, impitoyablement relégué au statut d’échec expérimental et déclaré nul et non avenu.

D’un point de vue informationnel, ces deux résultats sont pourtant rigoureusement indiscernables : le degré de preuve qu’ils apportent contre l’hypothèse nulle est pour ainsi dire identique. Transformer une variable continue d’évidence en un couperet décisionnel tout-ou-rien détruit une quantité massive d’informations quantitatives. Cette compression binaire interdit toute nuance probabiliste et empêche les chercheurs d’appréhender la continuité de l’incertitude qui caractérise par nature l’exploration des processus psychologiques complexes.

Ce manichéisme méthodologique alimente directement le mécanisme dévastateur du biais de publication. Les revues scientifiques ont historiquement refusé de publier les études dont les tests statistiques n’atteignaient pas le seuil de significativité, créant un paysage bibliographique artificiellement biaisé où seules les anomalies statistiques favorables aux hypothèses des auteurs parviennent à la visibilité publique. Les théories psychologiques se sont ainsi construites sur une collection d’artefacts filtrés par une coupure arbitraire, tandis que la masse silencieuse des données infirmantes demeurait invisible au fond des tiroirs de laboratoire.

4.2 La vulnérabilité aux pratiques de recherche contestables (QRP)

L’incitation institutionnelle colossale à produire des résultats franchissant impérativement la barrière de $p < 0,05$ — impératif dicté par le principe académique du « publier ou périr » — a catalysé l'émergence et la diffusion généralisée de ce que la métarecherche qualifie de pratiques de recherche contestables (ou QRP pour Questionable Research Practices). Ces manipulations méthodologiques, souvent inconscientes ou rationalisées par les chercheurs eux-mêmes, exploitent la flexibilité décisionnelle accordée lors de l’analyse des données pour forcer artificiellement une valeur p récalcitrante sous le seuil symbolique des 5 %.

Au cœur de cet arsenal problématique figure le p-hacking, également nommé data-dredging ou pêche aux données. Le chercheur teste une multiplicité de transformations mathématiques sur ses variables, élimine des participants au moyen de règles d’exclusion définies a posteriori, sélectionne arbitrairement les covariables intégrées aux modèles de régression, ou segmente ses sous-groupes jusqu’à ce qu’une combinaison particulière produise enfin une probabilité inférieure à 0,05. À cela s’ajoute la pratique pernicieuse des arrêts précoces de collecte : tester les données après chaque lot de dix nouveaux participants et stopper l’expérimentation dès que le seuil est franchi, ce qui gonfle de manière spectaculaire le taux réel d’erreur de première espèce bien au-delà des 5 % nominaux.

Ce dysfonctionnement culmine dans le phénomène de HARKing (Hypothesizing After the Results are Known), décrit par le psychologue Norbert Kerr. Lorsqu’un test exploratoire fortuit génère une valeur $p < 0,05$ au milieu d'un tableau d'analyses croisées sans fondement théorique préalable, le chercheur réécrit l'introduction de son article scientifique pour présenter cette observation fortuite comme la prédiction déductive initiale d'un modèle formel. En travestissant la découverte fortuite en démarche hypothético-déductive, le HARKing contamine la littérature de théories ad hoc dépourvues de toute robustesse empirique réelle et incapables de survivre à l'épreuve d'une réplication indépendante rigoureuse.

4.3 L’incapacité de la p-valeur à quantifier la force d’une association

Sur le plan strictement analytique, la limitation la plus rédhibitoire de la valeur p réside dans sa structure de calcul même : elle ne quantifie en aucune façon l’amplitude du phénomène étudié. La statistique de test dont dérive la valeur p (qu’il s’agisse d’un test t, z ou F) est fondamentalement le produit de deux composantes totalement distinctes : d’une part, la force de la relation ou de la différence observée dans l’échantillon, et d’autre part, la taille de l’effectif examiné ($N$). Cette relation fonctionnelle s’exprime conceptuellement sous la forme synthétique :

$$\text{Statistique de test} = \text{Taille de l’effet} \times \text{Taille de l’échantillon}$$

En conséquence immédiate de cette factorisation, la valeur p s’avère incapable d’offrir une métrique interprétable de l’association psychologique investiguée. Une valeur p de 0,002 ne contient aucune information univoque : elle peut tout aussi bien traduire une corrélation monumentale ($r = 0,85$) identifiée au sein d’un petit échantillon de 15 individus, qu’une corrélation absolument dérisoire ($r = 0,03$) dérivée d’un registre de population regroupant 100 000 dossiers médicaux. Privée du contexte de la taille d’échantillon et de l’ampleur absolue des scores, la valeur p ne dit strictement rien de la teneur psychologique ou comportementale de la découverte.

Pour évaluer l’impact véritable d’une recherche, les sciences du comportement doivent impérativement s’émanciper du simple calcul probabiliste d’incompatibilité avec le modèle nul. La valeur p répond à une question purement technique : « Est-il raisonnable d’écarter l’hypothèse que ces données résultent du bruit ? » Elle reste obstinément muette face aux interrogations qui importent au médecin, au thérapeute, à l’enseignant ou au décideur public : « Combien ? », « À quel degré ? » et « Cette différence fait-elle une divergence concrète dans le fonctionnement humain ? »

5. L’influence déterminante de la taille de l’échantillon sur la significativité statistique

5.1 La mécanique de l’erreur standard et des grands effectifs

Pour appréhender la raison pour laquelle la significativité statistique diverge si fréquemment de la réalité pragmatique, il convient d’analyser la dynamique mathématique qui unit la taille de l’échantillon à l’erreur type (ou erreur standard, notée $SE$). Dans le cadre classique de l’estimation d’une moyenne, l’erreur type de la moyenne est calculée par la formule universelle :

$$SE = \frac{\sigma}{\sqrt{N}}$$

où $\sigma$ représente l’écart-type de la variable dans la population et $N$ le nombre d’observations indépendantes composant l’échantillon. Cette fraction met en lumière une dépendance mathématique inverse et implacable : à mesure que l’effectif $N$ s’accroît, son radical $\sqrt{N}$ augmente, ce qui a pour conséquence mécanique de faire converger l’erreur standard vers zéro.

L’erreur standard constituant le dénominateur de la plupart des statistiques de test fondamentales (par exemple dans le test $t$ de Student : $t = (\bar{X} – \mu) / SE$), un dénominateur infiniment petit propulse la valeur de la statistique de test vers des sommets démesurés, et ce pour un numérateur (la différence observée entre les moyennes) rigoureusement constant. Plus l’échantillon est colossal, plus la distribution d’échantillonnage théorique sous l’hypothèse nulle se rétracte et s’amincit autour de zéro. Dès lors, le moindre écart arithmétique, même s’il ne représente qu’une fraction infime d’une unité de mesure, sera projeté à des distances probabilistes vertigineuses dans les queues de la distribution.

Cette sensibilité mécanique des tests d’inférence envers l’effectif d’observation aboutit à un constat déroutant : avec un échantillon suffisamment vaste, quasiment n’importe quelle divergence empirique non rigoureusement égale à zéro finira inéluctablement par être couronnée du sceau de la significativité statistique. L’obtention d’une valeur $p < 0,05$ cesse alors de constituer un filtre d'authenticité scientifique pour devenir le simple sous-produit logistique de la capacité d'un laboratoire à amasser des jeux de données massifs.

5.2 Le paradoxe des effets minuscules hautement significatifs

Cette mécanique engendre le paradoxe des effets minuscules dotés d’une significativité statistique écrasante, situation devenue omniprésente à l’ère contemporaine des mégadonnées (Big Data) et de la psychologie numérique collectée via les réseaux sociaux ou les plateformes de foule (telles qu’Amazon Mechanical Turk ou Prolific). Imaginons une enquête évaluant l’efficacité d’une nouvelle méthode pédagogique d’apprentissage de la lecture sur une cohorte de 50 000 écoliers comparés à 50 000 témoins. Si le groupe expérimental obtient un score moyen de 100,3 points à un test standardisé (d’écart-type 15) contre 100,0 points dans le groupe témoin, la différence absolue n’est que de 0,3 point.

Sur le plan humain, individuel ou éducatif, un gain de 0,3 point sur une échelle de 100 est totalement imperceptible : il ne modifie en rien la capacité d’un enfant à déchiffrer un texte ou à comprendre un récit. Pourtant, injectée dans les équations d’un test $t$ sur un échantillon totalisant $N = 100,000$ sujets, cette différence infime génère une statistique de test $t \approx 3,16$, assortie d’une valeur $p \approx 0,0015$. Selon les critères académiques dominants, ce résultat sera salué comme « hautement significatif à $p < 0,01$ » et présenté aux autorités éducatives comme la preuve de l'excellence de la méthode.

Le risque de surinterpréter ces variations triviales issues des grandes bases de données est considérable. Des millions d’euros ou des réformes de santé publique peuvent être engagés sur la base de variations infinitésimales qui n’améliorent en rien la condition humaine, simplement parce que la certitude statistique a été confondue avec la valeur pratique de l’effet. L’analyse critique d’une recherche doit toujours débuter par la dissociation explicite entre la netteté mathématique de la détection et la substance tangible du fait observé.

5.3 Le problème du manque de puissance statistique dans les petits échantillons

Le revers de la médaille de la taille d’échantillon se révèle tout aussi dévastateur pour la rigueur scientifique : il s’agit du problème structurel de la sous-puissance statistique caractérisant les échantillons réduits. La puissance statistique d’une étude, formellement quantifiée par $1 – \beta$, représente la probabilité mathématique que possède le protocole de rejeter effectivement l’hypothèse nulle lorsque celle-ci est véritablement fausse dans la population, c’est-à-dire la probabilité de détecter un effet réel existant d’une magnitude donnée.

Dans de nombreux champs expérimentaux de la psychologie (neuro-imagerie fonctionnelle, thérapies individuelles de troubles rares, études développementales sur le nourrisson), les contraintes financières, éthiques et temporelles restreignent drastiquement les effectifs à des cohortes de 15 à 30 sujets par cellule. Dans de telles conditions de recueil, l’erreur standard devient volumineuse, ce qui aplatit la statistique de test et gonfle démesurément la valeur p. Un chercheur peut ainsi observer une amélioration clinique tout à fait spectaculaire sous l’effet d’une molécule innovante — un soulagement substantiel chez 40 % de ses patients —, mais se heurter à une valeur $p = 0,12$ en raison de l’imprécision inhérente à son effectif miniature.

Ce phénomène induit une erreur de seconde espèce (ou faux négatif, notée $\beta$) : conclure à l’absence de preuve contre $H_0$ et rejeter une piste de recherche thérapeutique prometteuse simplement parce que le détecteur statistique n’était pas suffisamment calibré pour capter le signal. L’abandon prématuré d’interventions potentiellement salutaires constitue un gaspillage éthique et financier majeur. C’est pour juguler cette dérive qu’une saine méthodologie impose la conduite systématique d’analyses de puissance a priori, calculs permettant de calibrer rationnellement la taille d’échantillon requise avant le premier recueil de données pour garantir une probabilité acceptable (souvent fixée à 80 % ou 90 %) d’identifier un effet d’intérêt théorique minimal.

6. Qu’est-ce que la significativité pratique en psychologie ?

6.1 Définition conceptuelle de la significativité pratique

Alors que la significativité statistique interroge la probabilité que les données aient été générées par une absence de relation sous l’effet du bruit d’échantillonnage, la significativité pratique s’intéresse à une question radicalement différente, centrée sur la valeur empirique : quelle est l’utilité, la portée, la signification réelle et le bénéfice tangible d’une découverte dans le fonctionnement quotidien des êtres humains ? Ce concept déplace l’attention de la machinerie inférentielle vers le monde vécu, évaluant si le phénomène psychologique mis au jour produit un impact mesurable sur la santé mentale, la cognition, l’ajustement émotionnel ou l’efficacité comportementale des individus.

Cette distinction opère une rupture fondamentale entre deux interrogations épistémologiques complémentaires. La première, celle de l’inférence classique, demande : « Cet effet existe-t-il au-delà du hasard stochastique ? » La seconde, celle de la pertinence pratique, rétorque : « Cet effet modifie-t-il quoi que ce soit d’important à la réalité ? » En psychologie appliquée, la simple preuve de l’existence ontologique d’un lien statistique n’offre aucune justification suffisante pour modifier un paradigme diagnostique, réformer un cursus d’enseignement ou prescrire un protocole thérapeutique contraignant.

La significativité pratique oblige ainsi le chercheur à se défaire du fétichisme méthodologique pour réinvestir la sémantique de son objet d’étude. Elle postule qu’une découverte n’acquiert sa pleine validité scientifique que lorsqu’elle est capable d’expliquer une part substantive du comportement humain ou d’offrir des leviers de transformation perceptibles par les personnes concernées. Elle substitue à la conformité mathématique une exigence d’utilité écologique et fonctionnelle.

6.2 La valeur pragmatique face à la valeur inférentielle

La confrontation entre valeur pragmatique et valeur inférentielle met en exergue les arbitrages fondamentaux auxquels sont confrontés les praticiens et les concepteurs de politiques publiques. La valeur inférentielle incarne la pureté logique de la déduction statistique : elle garantit, sous les axiomes du modèle, que l’on ne commet pas plus d’un certain pourcentage d’erreurs de décision théorique sur l’ensemble d’une carrière académique. Elle s’épanouit dans l’abstraction des espaces probabilisés et dans la reproductibilité formelle des distributions de tirage.

La valeur pragmatique, quant à elle, s’enracine dans la balance économique et humaine des coûts, des efforts et des bénéfices réels induits par une intervention. Même lorsqu’une intervention psychologique démontre une supériorité statistique indiscutable face à un placebo ($p < 0,001$), sa valeur pragmatique peut se révéler quasi nulle si sa mise en œuvre exige 150 heures de psychothérapie spécialisée pour ne réduire les scores d'anxiété que d'un demi-écart-type, sans changement observable dans la reprise d'activité professionnelle des patients. L'analyse décisionnelle ne peut s'abstraire des coûts d'opportunité, des effets secondaires cognitifs, et de la charge mentale imposée par les programmes expérimentaux.

De surcroît, la valeur pragmatique se mesure à l’aune du seuil de perception humaine. Si une technique de relaxation diminue le niveau de stress physiologique d’une manière indéniablement mesurable par des capteurs de conductance cutanée ultrasensibles, mais que ni le sujet ni ses proches ne perçoivent le moindre apaisement subjectif dans leurs interactions relationnelles ordinaires, la portée de la découverte demeure confinée au laboratoire. La significativité pratique exige qu’à un moment du processus de validation, le changement quantifié se traduise par une modification observable du cours de la vie quotidienne.

6.3 Facteurs contextuels influençant la pertinence pratique

L’appréciation de la significativité pratique ne saurait être figée dans des règles arithmétiques universelles : elle dépend intimement des spécificités contextuelles entourant l’objet d’étude. Le premier de ces facteurs réside dans la gravité du construit clinique ou sociétal évalué. Dans le domaine de la psychiatrie lourde ou de la suicidologie, une réduction de risque de 1,5 % — qui semblerait totalement dérisoire dans le cadre de l’apprentissage scolaire ou de l’optimisation des temps de réaction — peut revêtir une pertinence pratique monumentale, car elle équivaut mathématiquement à des dizaines ou des centaines de vies sauvées à l’échelle d’une population nationale.

Le deuxième facteur concerne l’accessibilité logistique, le coût d’administration et la tolérance de l’intervention. Une intervention psychologique brève, peu onéreuse, facilement diffusable par voie numérique et exempte de tout effet secondaire indésirable (par exemple une invite de recadrage cognitif par message quotidien) possède une valeur pratique substantielle même si sa taille d’effet est infinitésimale. Déployée à l’échelle de millions d’usagers d’un service de santé numérique, un bénéfice minime par individu agrège un gain sociétal considérable. À l’inverse, un protocole lourd, onéreux et exigeant un suivi individuel intensif nécessite une taille d’effet massive pour prétendre à la moindre pertinence pratique.

Enfin, le cadre d’application imprime sa marque sur les critères d’évaluation. En psychologie du travail et des organisations, une hausse de 1 % de la productivité globale mesurée statistiquement peut se traduire par des millions d’euros d’économies pour une grande entreprise, conférant à ce micro-effet une significativité financière et pratique indiscutable. En psychologie scolaire, en revanche, un gain équivalent sur un trimestre d’apprentissage n’aura aucun impact sur la trajectoire académique d’un élève en difficulté. La significativité pratique n’est pas une constante immanente des données ; elle émerge de l’intersection vivante entre l’ampleur statistique d’un résultat et les finalités concrètes du champ d’application où il est déployé.

7. La taille d’effet : L’instrument de mesure de la significativité pratique

7.1 Les métriques standardisées de différence moyenne

Pour s’affranchir de la dépendance absolue de la valeur p envers la taille de l’échantillon, la métrologie psychologique a développé et systématisé l’usage des indices de taille d’effet (ou effect size). Parmi ceux-ci, la famille des différences moyennes standardisées constitue le vecteur d’analyse privilégié pour comparer deux groupes expérimentaux. La métrique la plus universellement répandue est le d de Cohen, proposé par Jacob Cohen en 1988, qui exprime la différence brute observée entre les moyennes de deux groupes en unités d’écart-type combiné :

$$d = \frac{\bar{X}_1 – \bar{X}_2}{s_p} \quad \text{a\vec} \quad s_p = \sqrt{\frac{(n_1 – 1)s_1^2 + (n_2 – 1)s_2^2}{n_1 + n_2 – 2}}$$

Lorsque la taille des sous-échantillons est modeste ($N < 20$), le d de Cohen a tendance à surestimer systématiquement la taille d’effet au sein de la population. Les méthodologistes préconisent alors l’application du g de Hedges, qui applique un facteur de correction sans biais proportionnel aux degrés de liberté. Dans les situations où les variances des deux groupes se révèlent hétérogènes sous l’effet de l’intervention expérimentale, le Delta de Glass ($\Delta$) offre une alternative pragmatique en divisant la différence des moyennes exclusivement par l’écart-type du groupe témoin, préservé de toute manipulation.

Pour guider l’interprétation empirique de ces valeurs, Cohen a proposé des repères conventionnels bien connus : un effet est qualifié de « petit » aux alentours de $d = 0,2$, de « moyen » vers $d = 0,5$, et de « grand » au-delà de $d = 0,8$. Toutefois, ces bornes doivent impérativement être manipulées avec précaution. Cohen lui-même mettait en garde contre une application aveugle et décontextualisée de ces repères. Dans certains domaines de la psychologie cognitive, un $d = 0,2$ correspond au maximum absolu de variance que peut manipuler un paradigme expérimental, tandis qu’en psychothérapie comparative face à une liste d’attente, un $d$ inférieur à 0,5 signale une intervention thérapeutique d’une faiblesse inquiétante.

7.2 Les métriques de variance expliquée et d’association

Une seconde famille d’indices de taille d’effet évalue non plus la divergence entre des moyennes isolées, mais la proportion de variance d’une variable dépendante qui peut être mathématiquement prédite ou expliquée par une ou plusieurs variables indépendantes. Le prototype de cette famille est le coefficient de détermination ($R^2$), issu de la corrélation linéaire de Pearson, qui indique quel pourcentage de la dispersion totale des scores individuels s’aligne sur le modèle mathématique postulé.

Dans le cadre des plans d’expérience multifactoriels analysés par l’analyse de variance (ANOVA), le chercheur se tourne fréquemment vers l’êta-carré ($\eta^2$) et l’êta-carré partiel ($\eta_p^2$). Ce dernier isole la variance imputable à un facteur spécifique en retirant de l’équation les variances capturées par les autres facteurs du modèle d’analyse :

$$\eta_p^2 = \frac{SS_{\text{effet}}}{SS_{\text{effet}} + SS_{\text{erreur}}}$$

Cependant, tout comme le d de Cohen dans les petits échantillons, l’êta-carré partiel est un estimateur biaisé qui a tendance à surestimer la variance expliquée dans la population parente. Pour surmonter ce biais systématique, la psychométrie computationnelle privilégie l’usage de l’oméga-carré ($\omega^2$) ou de l’oméga-carré partiel ($\omega_p^2$). Cette métrique soustrait le terme de variance d’erreur résiduelle au numérateur, offrant ainsi une estimation non biaisée de la proportion de variabilité comportementale réellement gouvernée par le facteur d’intérêt.

Ces indices permettent d’ancrer la réflexion dans des ordres de grandeur intuitifs. Constater qu’une nouvelle méthode psychothérapeutique possède une significativité statistique éclatante ($p < 0,001$) mais qu'elle n'affiche qu'un $\omega_p^2 = 0,01$ remet immédiatement les pendules méthodologiques à l'heure : 99 % des variations individuelles du bien-être des patients dépendent de facteurs totalement ignorés ou non contrôlés par cette intervention. Le modèle n'explique en réalité que l'écume des processus psychiques sous-jacents.

7.3 Les métriques adaptées aux données catégorielles

Les investigations psychologiques et épidémiologiques manipulent fréquemment des variables qualitatives dichotomiques ou polytomiques (succès versus échec, rémission versus rechute, diagnostic présent versus absent). Dans ce registre non paramétrique, les tests d’indépendance du Chi-deux nécessitent des métriques de taille d’effet spécifiques pour renseigner sur la vigueur de l’association. Le V de Cramér est l’indice le plus usité pour mesurer la force de dépendance dans des tableaux de contingence de dimensions arbitraires, normalisant la valeur du test statistique sur une échelle standardisée variant de 0 (indépendance totale) à 1 (dépendance fonctionnelle absolue).

Dans les études de cohortes et les essais cliniques randomisés, deux autres métriques prévalent : le Rapport de Cotes (ou Odds Ratio, $OR$) et le Risque Relatif ($RR$). Le risque relatif compare directement la probabilité de survenue d’un événement dans un groupe exposé par rapport à un groupe témoin. L’Odds Ratio, quant à lui, met en rapport les cotes de survenue de l’événement. Ces indices fournissent une appréciation directe et intuitive du changement d’échelle d’un risque psychopathologique face à un facteur environnemental ou thérapeutique.

Enfin, pour répondre directement aux impératifs de la décision médicale et psychologique pragmatique, la biostatistique a introduit le concept de Nombre de Sujets à Traiter (ou Number Needed to Treat, $NNT$). Le NNT est la réciproque mathématique de la Réduction Absolue du Risque ($NNT = 1 / ARR$). Il indique le nombre exact de patients qu’un clinicien doit traiter avec le protocole expérimental, par rapport au protocole témoin, pour obtenir un événement thérapeutique favorable supplémentaire (ou prévenir une issue indésirable). Un traitement affichant une significativité statistique parfaite peut requérir un $NNT = 150$, ce qui signifie qu’il faut mobiliser des ressources massives auprès de cent cinquante personnes pour n’en soulager effectivement qu’une seule. Cet indicateur constitue l’un des ponts les plus limpides entre la métrologie abstraite et l’éthique de terrain.

8. Les intervalles de confiance : Synthèse de l’estimation et de l’incertitude

8.1 Fondements et calcul des intervalles de confiance

Face aux écueils cumulés de la dichotomisation induite par la valeur p et de l’illusion de précision que peut susciter une estimation ponctuelle brute de taille d’effet, les méthodologistes recommandent unanimement l’usage des intervalles de confiance (notés $IC$). Fondé sur l’approche fréquentiste de Jerzy Neyman, un intervalle de confiance à 95 % délimite une plage de valeurs construite autour de la statistique d’échantillon selon la formule canonique :

$$IC_{95%} = \text{Estimation ponctuelle} \pm (t_{\text{critique}} \times SE)$$

L’interprétation correcte de cette construction géométrique requiert une vigilance épistémologique stricte. Affirmer qu’il existe 95 % de chances que le paramètre vrai de population soit contenu à l’intérieur de l’intervalle calculé pour une expérience donnée constitue un contresens fréquentiste (le paramètre étant une constante fixe, il se trouve à 100 % ou à 0 % dans l’intervalle). La définition exacte est d’ordre procédural : si l’on répétait l’expérience un nombre infini de fois en prélevant des échantillons aléatoires indépendants de même taille, et que l’on calculait un intervalle de confiance à 95 % pour chacun d’eux, exactement 95 % de l’ensemble de ces intervalles recouvriraient la valeur inconnue du paramètre de population.

L’intervalle de confiance synthétise mathématiquement deux dimensions capitales : la meilleure estimation ponctuelle possible du phénomène (le centre de l’intervalle) et le degré d’imprécision inhérent à la taille de l’échantillon et à la dispersion des données (la largeur totale de l’intervalle). En visualisant l’intervalle sous forme graphique, le chercheur appréhende d’un seul coup d’œil l’éventail complet des valeurs de population qui demeurent hautement plausibles et compatibles avec les données observées.

8.2 Avantages de l’intervalle sur la simple valeur p

La supériorité analytique de l’intervalle de confiance sur la valeur p isolée est incontestable. Une valeur p compresse et dégrade l’information : elle ne propose qu’un diagnostic unidimensionnel de non-compatibilité avec un point singulier de l’espace (le point zéro de l’hypothèse nulle). Elle dissimule totalement l’imprécision de la mesure. Deux études distinctes peuvent présenter exactement la même valeur $p = 0,04$ ; mais la première, menée sur un échantillon minuscule, affichera une estimation de différence moyenne de 12 points avec un intervalle très large allant de 0,5 à 23,5, tandis que la seconde, adossée à une vaste cohorte, présentera une différence de 0,4 point comprise dans un intervalle serré de 0,02 à 0,78.

L’intervalle de confiance dévoile instantanément la réalité méthodologique que la valeur p s’efforce de cacher. Il permet d’écarter sur-le-champ les conclusions hâtives issues d’études surpuissantes identifiant des effets microscopiques : si l’intervalle d’une étude d’amélioration mnésique se borne à $[0,01 ; 0,04]$, le chercheur sait d’emblée que même dans l’hypothèse la plus optimiste portée par la borne supérieure, le bénéfice cognitif maximal plausible dans la population demeurera dérisoire.

De même, l’intervalle met en lumière la fragilité des études manquant cruellement de puissance statistique en exhibant des largeurs d’incertitude disproportionnées. Un résultat non statistiquement significatif à $p = 0,08$, assorti d’un intervalle de taille d’effet s’étendant de $-0,05$ à $+0,95$, n’est en rien une preuve de l’absence d’effet ; il constitue l’aveu flagrant que l’étude est incapable de distinguer entre une légère pénalité de l’intervention et un triomphe thérapeutique spectaculaire d’un écart-type presque complet. L’intervalle préserve le chercheur du piège de l’ignorance masquée par l’absence de significativité statistique.

8.3 Interprétation conjointe de la significativité statistique et pratique via l’intervalle

L’alliance conceptuelle entre la significativité statistique et la significativité pratique trouve sa forme la plus aboutie dans l’interprétation croisée des bornes de l’intervalle de confiance par rapport à un seuil prédéfini de pertinence pratique minimale (souvent désigné sous l’acronyme SESOI, pour Smallest Effect Size of Interest). Cette technique d’évaluation impose d’examiner attentivement la position de la borne inférieure de l’intervalle pour juger du bénéfice théorique minimal garanti par les données empiriques.

Trois configurations canoniques émergent de cette démarche d’intégration :

• L’intervalle exclut zéro mais demeure entièrement sous le seuil d’utilité pratique : Le résultat est rigoureusement statistiquement significatif ($p < 0,05$), mais on peut affirmer avec une grande certitude que le phénomène est dépourvu de toute pertinence pratique dans le monde réel. L'hypothèse nulle est mathématiquement fausse, mais l'effet est trivial.
• L’intervalle chevauche le seuil pratique tout en excluant zéro : Le résultat est statistiquement significatif, mais l’estimation demeure trop imprécise pour déterminer si l’effet réel atteint un seuil cliniquement décisif ou s’il se cantonne à une portée mineure. Des réplications avec un effectif élargi sont impératives pour resserrer la distribution.
• L’intervalle englobe à la fois zéro et des effets d’envergure majeure : Le test est statistiquement non significatif ($p > 0,05$), mais l’incertitude est si vaste que les données sont compatibles aussi bien avec une absence complète d’impact qu’avec une découverte thérapeutique de premier ordre. L’étude n’est pas conclusive et ne peut en aucun cas servir d’argument pour clore la recherche.

9. Comparaison directe : Matrice des quatre scénarios méthodologiques

9.1 Scénario 1 : Statistiquement significatif et pratiquement significatif

Le premier scénario de notre matrice typologique représente l’idéal méthodologique vers lequel tend toute entreprise de recherche scientifique empirique : l’effet identifié se révèle à la fois statistiquement significatif et pratiquement significatif. Cette convergence optimale se matérialise lorsque l’échantillon d’étude a été calibré avec une puissance adéquate — ni sous-dimensionné pour éviter les faux négatifs, ni démesurément surdimensionné pour éviter la détection d’artefacts —, permettant de mettre en évidence un phénomène de grande amplitude avec une netteté mathématique sans équivoque.

Un exemple paradigmatique réside dans les méta-analyses consacrées à l’efficacité de la Thérapie Cognitivo-Comportementale (TCC) dans le traitement des formes aiguës du trouble panique ou des phobies spécifiques par rapport à des groupes contrôles sous placebo psychologique ou liste d’attente. Les tailles d’effet mesurées atteignent couramment des valeurs de d de Cohen situées entre 0,80 et 1,20, assorties de valeurs p largement inférieures à 0,001 et d’intervalles de confiance dont la borne inférieure demeure bien au-dessus du seuil de pertinence clinique.

Dans cette configuration univoque, la prescription décisionnelle est immédiate : le résultat empirique justifie pleinement l’implémentation directe du protocole au sein des recommandations de pratique clinique et des politiques publiques de santé. Le risque de gaspiller des deniers collectifs ou de mobiliser des thérapeutes pour un bénéfice illusoire est réduit à son strict minimum mathématique et humain.

9.2 Scénario 2 : Statistiquement significatif mais pratiquement insignifiant

Le deuxième scénario, de plus en plus prévalent avec la prolifération des études numériques adossées à de gigantesques cohortes, capture le cas des résultats statistiquement significatifs mais pratiquement insignifiants. Il constitue la manifestation directe de l’hyper-puissance statistique décrite précédemment : en agrégeant des dizaines de milliers d’observations, l’analyste confère au modèle d’inférence un pouvoir de résolution microscopique capable de détecter le moindre écart stochastique par rapport à l’égalité absolue postulée par $H_0$.

Considérons une étude épidémiologique analysant l’impact d’une modification du régime alimentaire sur les fonctions cognitives auprès d’un panel de 80 000 participants, révélant une amélioration de 0,2 % du temps de traitement visuo-spatial ($p = 0,0004$, $d = 0,03$). Le test statistique proclame triomphalement l’existence d’une corrélation bien réelle dans la population. Néanmoins, pour un individu singulier, une réduction de 2 millisecondes sur un temps de réaction moyen de 500 millisecondes est absolument impossible à détecter et n’exerce pas la plus modeste influence sur son aptitude à conduire une automobile, lire un livre ou accomplir une tâche professionnelle complexe.

Ce scénario expose les systèmes sociaux à des dérives coûteuses. Présentée de manière sensationnaliste dans les médias généralistes ou au sein de documents marketing à l’appui d’allégations nutritionnelles trompeuses, une telle découverte peut motiver la commercialisation de compléments alimentaires onéreux ou l’engagement de dépenses publiques substantielles pour des gains fonctionnels inexistants. L’esprit critique exige ici de désamorcer l’autorité de la valeur p pour dénoncer la vacuité pragmatique de l’effet.

9.3 Scénario 3 : Pratiquement significatif mais non significatif statistiquement

Le troisième scénario dessine ce qui représente sans doute la tragédie méthodologique la plus insidieuse des sciences expérimentales : le résultat pratiquement significatif mais non significatif statistiquement. Cette situation survient avec une fréquence alarmante dans les études pilotes, les investigations exploratoires sur des pathologies rares ou les projets de doctorat soumis à de fortes restrictions budgétaires, où les contraintes logistiques empêchent le recrutement d’un effectif suffisant pour atteindre une puissance statistique nominale.

Illustrons ce cas par l’évaluation d’un nouveau protocole d’intervention psychologique destiné à réduire les récidives dépressives chez des adolescents présentant des traumatismes complexes. Administré à un échantillon réduit de 12 adolescents appariés à 12 témoins, le protocole induit une diminution substantielle des épisodes dépressifs majeurs, correspondant à un $d$ de Cohen impressionnant de 0,70. Cependant, en raison du volume d’échantillon minimal ($N = 24$), la statistique de test débouche sur une valeur $p = 0,09$. Dans un système éditorial aveuglé par le fétichisme du seuil à 0,05, cette étude sera impitoyablement rejetée avec le qualificatif rédhibitoire de « résultat non significatif ».

Le risque majeur est de commettre une lourde erreur de décision (l’erreur de type II) en délaissant un traitement potentiellement révolutionnaire au prétexte fallacieux que les données n’ont pas vaincu le modèle nul. La recommandation méthodologique impérative face à une telle configuration n’est pas le rejet de la théorie, mais la réplication planifiée : l’étude doit servir de calibrage a priori pour concevoir un essai clinique de plus grande ampleur, doté de l’effectif rigoureusement requis pour transformer cette promesse pratique tangible en certitude inférentielle stabilisée.

9.4 Scénario 4 : Ni statistiquement ni pratiquement significatif

Le quatrième et dernier scénario de la matrice rassemble les données qui se révèlent ni statistiquement significatives, ni pratiquement significatives. Ce cas de figure se concrétise lorsque l’analyse d’un protocole expérimental affiche une taille d’effet quasi nulle (par exemple un $d = 0,02$) encapsulée dans un intervalle de confiance étroit excluant les seuils minimaux d’intérêt théorique, et que la valeur p s’établit très au-delà du seuil alpha (par exemple $p = 0,75$).

Loin de constituer une perte de temps méthodologique, ce scénario revêt une utilité épistémologique colossale pour l’assainissement du corpus scientifique. Il atteste avec une grande clarté que la variable indépendante manipulée n’exerce aucune influence mesurable sur le comportement étudié, et que cette conclusion ne résulte pas d’une cécité statistique ou d’un manque d’effectif, mais d’une véritable convergence empirique vers l’absence d’effet (le « vrai nul »). C’est ce type d’investigation rigoureuse qui permet d’écarter définitivement des neuromythes solidement ancrés dans l’opinion ou des pratiques pseudoscientifiques coûteuses (telles que l’entraînement cérébral non spécifique, la programmation neurolinguistique ou certaines formes de biofeedback non standardisé).

Sur le plan de l’éthique de la recherche, la documentation rigoureuse de ce scénario permet de stopper l’allocation de financements publics dans des impasses théoriques et de mettre fin à des protocoles d’intervention inefficaces qui exposent inutilement des patients à des thérapies infructueuses. Savoir démontrer avec précision qu’un traitement ne marche ni sur le plan statistique ni sur le plan humain constitue l’une des victoires les plus précieuses de la méthode expérimentale.

10. L’impact clinique : Quand la significativité pratique devient une obligation éthique

10.1 Le concept de changement cliniquement significatif (CCS)

Dans le domaine appliqué de la psychologie clinique, de la psychiatrie et de la psychothérapie, la notion de significativité pratique a été formalisée sous un paradigme opératoire rigoureux désigné sous le terme de Changement Cliniquement Significatif (ou Clinically Significant Change, CCS), initié par les travaux séminales de Neil S. Jacobson et Paula Truax en 1991. Jacobson et Truax ont mis en évidence l’inadéquation fondamentale consistant à évaluer l’efficacité d’une prise en charge psychologique par la seule comparaison des moyennes pré- et post-traitement à l’échelle d’un groupe.

Pour qu’un changement soit déclaré cliniquement significatif, il doit satisfaire à un double critère psychométrique et populationnel. Premièrement, le patient doit opérer une transition statistique réelle : son score sur une échelle symptomatique validée (comme l’inventaire de dépression de Beck) doit quitter la distribution statistique de la population dysfonctionnelle pour pénétrer à l’intérieur de la distribution caractérisant la population saine (ou fonctionnelle). Jacobson et Truax ont mathématiquement défini trois seuils d’évaluation ($a$, $b$ et $c$) permettant d’opérationnaliser cette frontière en fonction de la distance séparant les moyennes des deux populations et de leurs dispersions respectives.

Deuxièmement, cette translation diagnostique doit être immunisée contre les bruits métrologiques de l’instrument d’évaluation. C’est ici qu’intervient l’Indice de Changement Fiable (ou Reliable Change Index, RCI), calculé selon la formule :

$$RCI = \frac{X_{\text{post}} – X_{\text{pré}}}{S_{\text{diff}}} \quad \text{a\vec} \quad S_{\text{diff}} = \sqrt{2 \times (SE_{\text{mesure}})^2}$$

où $SE_{\text{mesure}}$ représente l’erreur type de mesure du test psychométrique ($SE = s \sqrt{1 – r_{xx}}$, $r_{xx}$ étant la fidélité test-retest). Pour que le changement individuel soit qualifié de « fiable », le ratio $RCI$ doit franchir la valeur absolue critique de 1,96 (au seuil bilatéral de 5 %). Seule la convergence d’un RCI supérieur à 1,96 et du franchissement du seuil populationnel autorise le clinicien à conclure à une véritable guérison clinique individuelle, rompant radicalement avec l’illusion d’une moyenne de groupe artificiellement tirée vers le haut par une poignée de répondants extrêmes.

10.2 Le ratio bénéfice-risque et coût-efficacité des interventions

L’exigence de significativité clinique s’inscrit au cœur d’une tension éthique incontournable : la légitimation d’un acte thérapeutique ne peut s’affranchir d’une pesée rigoureuse du ratio bénéfice-risque. Toute intervention de santé psychologique ou médicale induit des coûts matériels, temporels, émotionnels et parfois physiologiques. Une approche pharmacologique peut comporter des effets secondaires débilitants (somnolence, troubles métaboliques, dysfonctions cognitives) ; une thérapie par exposition peut générer une angoisse aiguë temporaire chez le patient.

Dans ce contexte, faire miroiter à un patient une efficacité thérapeutique fondée uniquement sur une valeur $p < 0,01$ obtenue contre placebo constitue une défaillance éthique manifeste si la taille d'effet brute ne compense pas le fardeau supporté par la personne. Si le gain moyen n'est que d'une réduction marginale de l'intensité anxieuse qui ne modifie ni l'insertion sociale ni la reprise du travail, justifier les risques iatrogènes associés à la molécule relève d'une rationalisation contestable. L'éthique de la prescription médicale et du soin psychologique impose que l'amplitude du bénéfice clinique escompté compense largement l'agression thérapeutique consentie.

De manière complémentaire, l’analyse macro-économique mobilise des modèles d’évaluation coût-efficacité où chaque point d’amélioration psychométrique est pondéré par les dépenses financières réelles supportées par les systèmes de protection sociale. Le recours aux concepts d’années de vie ajustées sur la qualité (ou Quality-Adjusted Life Years, QALY) permet d’ancrer la rentabilité pragmatique des approches comportementales face aux traitements conventionnels. Un protocole qui ne génère pas un gain cliniquement tangible par euro investi sera inéluctablement recalé par les commissions d’accréditation médico-économiques, nonobstant la beauté formelle de ses tests statistiques d’inférence.

10.3 L’évaluation de la pertinence subjective par le patient

L’étalon ultime de la significativité pratique en clinique réside dans la validation écologique du progrès thérapeutique telle qu’elle est vécue par le patient au sein de son écosystème relationnel. Cette exigence a stimulé l’intégration croissante des Mesures de Résultats Rapportés par les Patients (ou Patient-Reported Outcome Measures, PROMs). Contrairement aux échelles d’évaluation administrées par les cliniciens, qui traquent des altérations comportementales ou sémiologiques précises découpées selon le DSM, les PROMs interrogent le ressenti existentiel de la personne : autonomie perçue, qualité du sommeil, reprise des liens familiaux, participation aux loisirs et sentiment d’accomplissement de soi.

Il existe trop fréquemment un hiatus profond entre la métrologie des symptômes et l’expérience vécue du rétablissement. Un patient traité pour un trouble obsessionnel-compulsif peut présenter une diminution statistiquement significative de 25 % de ses rituels de vérification, tout en continuant à se sentir profondément handicapé, incapable de quitter son domicile sans angoisse panique. Du point de vue de l’évaluateur académique, l’essai clinique est couronné de succès ; du point de vue du patient et de sa famille, la situation d’impasse demeure rigoureusement identique.

La significativité pratique ne peut faire l’économie de la validité écologique. Les interventions comportementales doivent faire la preuve de leur efficacité hors des murs capitonnés du laboratoire ou du cabinet de consultation, dans l’environnement tumultueux de la vie naturelle. Réintégrer le jugement subjectif du sujet dans le dispositif méthodologique d’évaluation constitue le rempart le plus efficace contre les dérives technocratiques d’une science quantitative qui en viendrait à confondre le décompte des points psychométriques avec la reconstruction effective d’une vie humaine.

11. Implications pour la recherche : De la crise de la reproductibilité aux réformes scientifiques

11.1 Le rôle de la survalorisation de la valeur p dans la crise de réplication

Le tournant des années 2010 a marqué une secousse sans précédent dans l’édifice des sciences psychologiques, connue sous l’appellation de crise de la reproductibilité. Des initiatives collaboratives massives, à l’instar des réplications conduites sous l’égide du Center for Open Science dirigé par Brian Nosek, ont révélé un constat alarmant : moins de 40 % des découvertes publiées dans les revues les plus prestigieuses de psychologie cognitive et sociale ont pu être reproduites avec succès lorsque des protocoles expérimentaux identiques ont été réadministrés avec des effectifs adéquats.

La cause profonde de cette fragilité structurelle a été rapidement identifiée : l’assujettissement aveugle de l’ensemble du système de récompense académique à l’obtention du marqueur $p < 0,05$. En raison du redoutable effet de tiroir (ou file-drawer effect), selon lequel les études infirmantes ou nulles demeurent systématiquement non publiées, la littérature s’est gorgée d’estimations artificiellement gonflées de tailles d’effet. Lorsqu’une hypothèse fausse est testée par cent laboratoires indépendants, cinq d’entre eux obtiennent par pur hasard une valeur $p < 0,05$ ; dès lors que seuls ces cinq articles parviennent à la publication, le corpus scientifique consacre comme un fait avéré ce qui n'est qu'un alignement fortuit de fluctuations d'échantillonnage.

Ce filtre institutionnel pervers a conduit à une surestimation dramatique de l’amplitude des phénomènes documentés dans les manuels universitaires. Des théories séduisantes — de l’épuisement de l’ego à l’amorçage comportemental inconscient par des mots liés à la vieillesse — ont vu leurs tailles d’effet initialement triomphales ($d > 0,80$) s’effondrer jusqu’à des valeurs négligeables, voire négatives, lors des tentatives rigoureuses de réplication indépendante. La surévaluation de la significativité statistique aux dépens de la précision d’estimation a ainsi mené la discipline au bord de la faillite épistémologique.

11.2 Les recommandations des sociétés savantes (APA, ASA)

Face à la gravité du diagnostic, les plus hautes instances méthodologiques mondiales ont réagi par des déclarations d’une fermeté inédite. En 2016, l’American Statistical Association (ASA) a publié un manifeste historique sur la valeur p, clarifiant ses limites fondamentales et affirmant sans détour que les décisions scientifiques ou politiques ne devraient jamais reposer exclusivement sur le franchissement d’un seuil statistique binaire. L’ASA a souligné qu’une valeur p ne mesure ni la taille d’un effet, ni l’importance d’un résultat, ni la plausibilité d’une hypothèse substantive.

De son côté, l’American Psychological Association (APA), à travers les révisions successives de son manuel de publication et les directives formelles du Journal Article Reporting Standards (JARS), a rendu obligatoire le signalement systématique des tailles d’effet accompagnées de leurs intervalles de confiance pour l’ensemble des résultats primaires présentés dans les manuscrits soumis. Les auteurs ne sont plus autorisés à clore leur argumentation par une formule elliptique de type « $t(45) = 2,34, p < 0,05$ », mais doivent fournir une quantification explicite de l'amplitude du phénomène ($d$, $\eta_p^2$, $OR$) et de son incertitude métrologique.

Un nombre grandissant de méthodologistes et de biostatisticiens de renommée mondiale sont allés plus loin encore, plaidant pour l’abandon pur et simple du terme « statistiquement significatif » dans le discours académique. Des pétitions signées par des centaines d’universitaires de premier plan dans la revue Nature ont appelé à cesser la labellisation des études en catégories étanches, recommandant de traiter la valeur p pour ce qu’elle est — une variable continue de preuve indirecte — et d’évaluer la qualité d’une recherche sur la transparence de ses méthodes, la rigueur de son modèle théorique et la portée réelle de ses estimations.

11.3 La montée des pratiques de science ouverte

La réponse structurelle la plus prometteuse à ces dysfonctionnements méthodologiques réside dans l’expansion fulgurante des pratiques de science ouverte (ou Open Science). Au cœur de ce renouveau figure le pré-enregistrement des protocoles de recherche et le format innovant des Registered Reports (rapports enregistrés). Dans ce modèle éditorial révolutionnaire, le projet de recherche, l’état de l’art, les hypothèses formelles, le protocole d’échantillonnage, les seuils statistiques choisis et la définition a priori de la taille minimale d’effet d’intérêt (SESOI) sont soumis aux pairs et évalués avant même la collecte du premier participant.

Si le protocole est jugé rigoureux et pertinent, la revue s’engage contractuellement à publier l’article final, quels que soient les résultats obtenus au terme des analyses empiriques. Ce mécanisme neutralise d’un seul coup le p-hacking, le HARKing et le biais de publication : le chercheur n’est plus incité à torturer ses données pour faire passer sa valeur p sous la barre des 0,05, puisque l’acceptation de son travail est garantie par la valeur théorique et méthodologique de sa démarche, et non par la conformité de ses chiffres avec des seuils d’inférence arbitraires.

Parallèlement, le partage ouvert des données brutes (Open Data) et des scripts de traitement computationnel (Open Code) sur des plateformes institutionnelles telles que l’Open Science Framework (OSF) permet la réanalyse indépendante des jeux de données par des équipes tierces. La vérification de la robustesse des effets statistiques face à différentes stratégies analytiques — par exemple via l’analyse de courbes de spécification — garantit que la significativité pratique rapportée par les auteurs n’est pas un artefact fragile né de choix de modélisation hautement sélectifs.

12. Guide pratique pour chercheurs et praticiens : Réconcilier rigueur statistique et utilité clinique

12.1 Établir le plus petit effet d’intérêt (SESOI)

Pour dépasser l’impasse de l’inférence traditionnelle sans sombrer dans l’arbitraire de l’intuition, les chercheurs contemporains doivent intégrer dans leurs plans expérimentaux la détermination a priori du Plus Petit Effet d’Intérêt (ou Smallest Effect Size of Interest, SESOI). Formalisée par le méthodologiste Daniël Lakens, la fixation d’un SESOI consiste à définir explicitement, avant d’initier la collecte des données, le seuil d’amplitude minimale en deçà duquel un effet théorique ou thérapeutique sera considéré comme dénué de tout intérêt pragmatique ou conceptuel.

Cette démarche ouvre la voie à l’utilisation des Tests d’Équivalence, et plus spécifiquement de la procédure des deux tests unilatéraux unifiés (Two One-Sided Tests, ou TOST). Contrairement au test d’hypothèse nulle classique qui ne peut que rejeter l’égalité stricte à zéro, le test TOST permet de tester si un effet est statistiquement équivalent à zéro à l’intérieur de bornes définies par le SESOI ($[-\Delta ; +\Delta]$). La structure logique du TOST se déploie selon les étapes suivantes :

• On teste si l’effet observé est significativement supérieur à la borne négative ($-\Delta$) du SESOI.
• On teste si l’effet observé est significativement inférieur à la borne positive ($+\Delta$) du SESOI.
• Si ces deux tests unilatéraux s’avèrent simultanément significatifs, le chercheur a formellement apporté la preuve statistique que l’effet étudié, s’il existe, est trop petit pour avoir la moindre pertinence pratique : l’équivalence pratique est démontrée.

Planifier une expérience en s’adossant au SESOI transforme radicalement la conduite de l’étude. Le calcul de la taille d’échantillon ne vise plus seulement à repousser $H_0$ à tout prix, mais est dimensionné selon l’approche de la précision d’estimation (Accuracy in Parameter Estimation, AIPE), assurant que l’intervalle de confiance autour de la taille d’effet sera suffisamment étroit pour distinguer de manière fiable un effet pragmatiquement utile d’une fluctuation triviale.

12.2 Normes de rédaction et de communication des résultats empiriques

La réconciliation entre rigueur statistique et pertinence pratique requiert une transformation profonde des normes de restitution écrite des données dans les publications scientifiques. L’époque où la communication d’un résultat empirique pouvait se résumer à une valeur p isolée au cœur d’une parenthèse est définitivement révolue. Tout rapport méthodologiquement transparent doit impérativement articuler un ensemble complet et coordonné d’indicateurs quantitatifs.

Chaque analyse fondamentale doit systématiquement mentionner dans le corps du texte : la statistique de test exacte assortie de ses degrés de liberté ($t$, $F$, $\chi^2$), la valeur p numérique précise (en proscrivant les mentions obscurcissantes telles que « $p < \text{NS}$ » ou « $p = 0,000$ », cette dernière devant être rédigée $p < 0,001$), l'indice de taille d'effet standardisé approprié ($d$ de Cohen, $g$ de Hedges, $\omega_p^2$, etc.) ainsi que son intervalle de confiance à 95 %. L'adjonction de représentations graphiques révélant la dispersion réelle des données brutes — par le biais de graphiques en nuage de points combinés à des boîtes à moustaches (boxplots) et des courbes de densité en violon — doit être systématiquement préférée aux diagrammes en barres classiques qui masquent la distribution sous-jacente.

Dans la section Discussion des articles de recherche, les auteurs doivent s’abstenir de toute formulation hyperbolique fondée sur la seule petitesse de la valeur p. Employer des termes tels que « effet massif », « découverte fondamentale » ou « impact thérapeutique hautement robuste » au motif qu’une valeur $p = 0,0001$ a été enregistrée relève d’une rhétorique trompeuse lorsque la taille d’effet ne s’élève qu’à $d = 0,15$. Les chercheurs ont le devoir épistémique de consacrer un paragraphe entier à l’explicitation des limites pratiques de leurs observations, en discutant honnêtement la portée fonctionnelle réelle des gains mesurés pour la population cible.

12.3 Grille de lecture critique pour les cliniciens et décideurs

Pour les praticiens de santé mentale, les psychiatres, les cadres éducatifs et les décideurs institutionnels, la lecture de la littérature scientifique nécessite le déploiement d’une grille de lecture critique indépendante de l’argument d’autorité mathématique. Face à un article scientifique ou à un dossier commercial vantant l’efficacité scientifiquement prouvée d’une nouvelle approche thérapeutique ou d’un dispositif pédagogique, trois questions analytiques cardinales doivent structurer l’examen :

Première question : Quelle était la taille de l’échantillon d’analyse ? Si l’étude affiche un échantillon monumental de plusieurs dizaines de milliers d’individus, la présence d’une significativité statistique ($p < 0,05$) doit immédiatement éveiller les soupçons quant au risque de détection d'une différence triviale dénuée d'utilité concrète. Inversement, si l'étude a été conduite sur un groupe restreint ($N 0,05$ ne doit jamais être interprétée comme la preuve de l’absence d’effet sans vérifier la largeur de l’intervalle de confiance.

Deuxième question : Quelle est la taille de l’effet rapportée et quelle est l’amplitude de son intervalle de confiance ? L’article documente-t-il explicitement des métriques telles que le $d$ de Cohen, le Risque Relatif ou le NNT ? Si ces indices sont curieusement omis au profit de la seule valeur p, la prudence la plus rigoureuse s’impose : cette omission traduit fréquemment la tentative des auteurs de masquer l’insignifiance substantielle de leurs résultats derrière la conformité inférentielle formelle.

Troisième question : Le changement est-il cliniquement et écologiquement significatif ? L’amélioration observée se traduit-elle par un franchissement des seuils de normalité psychométrique (critères de Jacobson et Truax) ? Le Nombre de Sujets à Traiter ($NNT$) est-il proportionné aux coûts logistiques et aux effets secondaires du traitement ? Et surtout : cette intervention produit-elle un changement qui se voit, se ressent et se maintient dans l’existence réelle des personnes soignées ? C’est à ce prix, et à ce prix seulement, que les professionnels éclairés sauront déjouer les illusions de la statistique pour ne retenir que les découvertes qui transforment véritablement la condition humaine.

Références

• American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). American Psychological Association. https://doi.org/10.1037/0000165-000
• Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates. https://doi.org/10.4324/9780203771587
• Cohen, J. (1994). The earth is round ($p < .05$). American Psychologist, 49(12), 997–1003. https://doi.org/10.1037/0003-066X.49.12.997
• Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
• Fisher, R. A. (1925). Statistical methods for research workers. Oliver and Boyd.
• Gigerenzer, G. (2004). Mindless statistics. The Journal of Socio-Economics, 33(5), 587–606. https://doi.org/10.1016/j.socec.2004.09.033
• Jacobson, N. S., & Truax, P. (1991). Clinical significance: A statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59(1), 12–19. https://doi.org/10.1037/0022-006X.59.1.12
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
• Lakens, D. (2017). Equivalence testing for psychological research: A tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259–269. https://doi.org/10.1177/2515245918770963
• Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London. Series A, 231(694–706), 289–337. https://doi.org/10.1098/rsta.1933.0009
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
• Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond “$p < 0.05$”. The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913
• Wilkinson, L., & the Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594